Фраза "Мой любимый мужчина" из уст женщины, и "Моя любимая женщина" из уст мужчины, должна подразумевать, исключительно, гендерный аспект, с сексуальной подоплекой(в чистом смысле).
О сыне, отце, брате, можно сказать - мой идеал, образец..... мужчины, так же и для мужчин в отношении матери, дочери. А то получается, инцест словесный.