Личная жизнь Андрея Андреевича Громыко и Лидии Гриневич сложилась счастливо. Это была по-настоящему примерная ячейка советского общества, где царило полное взаимопонимание.Со своей женой Лидией Гриневич будущий «патриарх дипломатии» познакомился в 1931 году, когда поступил в Минский экономический институт. Лидия, как и он, была студенткой этого вуза. Когда мужа отправили директором в сельскую школу, жена поехала за ним. Спустя год у них родился сын Анатолий. А в 1937 году появилась дочь Эмилия.
Жена не только обеспечивала надёжный «тыл» супругу, но и соответствовала ему. Она выучила английский язык и часто вела приёмы, на которые были приглашены жёны западных дипломатов.
Супруги дождались внуков – Алексея и Игоря. Любимым увлечением Андрея Андреевича была охота. А ещё он коллекционировал ружья.