Loyer trop cher ? Droit du propriétaire et locataire

Bonjour,

Nous vivons dans un appartement en banlieue parisienne. Il y a quelques mois, notre propriétaire nous a envoyé, par erreur, la quittance de loyer de l'ancien locataire. Qu'elle ne fut pas notre étonnement de constater que nous payons actuellement 100 de plus par mois, pour le même logement (la quittance du dit précédent locataire était celle du mois précédant notre arrivée).

Il y a un mois, nous avons constaté que les autres logements de la résidence (même surface, même résidence, même préstations : gardien/parking/communs) sont aussi 100 à 150 moins chers.
Nous avons fait remarquer ces deux élements au propriétaire et proposé une négociation à l'amiable.
Ce à quoi le propriétaire a répondu que l'appartement était plus cher car le précédent locataire avait installé une cuisine équipée (frigo + four) qu'il a été forcé de racheter à son départ (et donc à notre arrivée) et que nous jouissons de matériaux "exceptionnels". Je mets des guillements car un artisan venu faire les travaux me l'a certifié : c'est du castorama et plutôt du mauvais castorama et j'ai du faire un ménage énorme à notre arrivée (la cuisine en question était dans un état terrible).
Le propriétaire refuse donc de discuter le prix du logement, assurant avoir fait expertiser le logement par une agence. Il refuse de nous montrer la facture de la cuisine équipée et dit pouvoir augmenter le loyer d'un locataire à l'autre sans soucis (ce que je sais être faux). Il n'a pas hésité à me dire qu'on s'arrange toujours avec la loi (sic).

Qui a raison et quel est notre recours ?
Merci de votre aide,