Некрасов отбил жену у своего друга литератора Ивана Панаева. Надо сказать, что в Авдотью Панаеву было влюблено большинство литераторов. Достоевский тоже признавался ей в любви, но выбрала она Некрасова. Они стали жить гражданским браком в квартире Панаевых, причём вместе с законным мужем Авдотьи - Иваном Панаевым. Такой союз продлился почти 16 лет, до самой смерти Панаева. Всё это вызывало общественное осуждение - про Некрасова говорили, что он живёт в чужом доме, любит чужую жену и при этом ещё и закатывает сцены ревности законному мужу. В этот период от него отвернулись даже многие друзья. Но, несмотря на это, Некрасов и Панаева были счастливы.