Richelieu est connu pour ses nombreuses conquêtes féminines : Il a une liaison avec Charlotte-Aglaé d'Orléans, Mademoiselle de Valois, une des filles de Philippe d'Orléans, régent de France (portrait à droite).
Parmi ses autres conquêtes, on peut citer la marquise du Châtelet en 1733, la baronne Claudine Guérin de Tencin avec qui il entretient une longue correspondance, et Jeanne Du Barry quand elle était demi-mondaine à Paris. Il aurait été proche, après 1746, de la princesse de Rohan Marie-Sophie de Courcillon.
Ce qui ne l'empêche pas de se marier trois fois.