Propriétaire revient sur les révisions précédentes

Bonjour,
Je quitte mon appartement dans les semaines qui viennent et mon propriétaire se réveille subitement et revient sur une grande partie des révisions de loyer depuis le début du bail.
Je suis entrée dans l'appartement en avril 99 et depuis, chaque année, il a exercé son droit d'augmenter le loyer mais n'a pas systématiquement appliqué le maximum de l'indice possible. Certaines années, il n'a pas pas révisé le loyer (travaux dans la copro) mais a rattrapé l'augmentation prévue sur les 2 années à la révision suivante.
Les dernières révisions étaient encore basées sur l'ICC et il prétexte une erreur d'indice depuis 2006 pour recalculer un loyer théorique depuis le début du bail qui forcément est plus élevé chaque année que ce que je lui ai payé.
Sur les 13 années, on arrive à un montant de plus de 6000 euros.
J'ai connaissance de la prescription à 5 ans des loyers, qu'il a bien évidemment omis d'indiquer dans son courrier, mais même en se limitant aux 5 dernières années, on arrive à 4500 euros.
Si on refait le calcul uniquement depuis 2006, et qu'on applique IRL aux loyers en prenant comme base le loyer de 2005, c'est lui qui le doit 1000 euros...
Je suis perdue...
A-t-il le droit de revenir sans justifications sur les augmentations qu'il a lui même calculées sachant que la loi prévoit que la révision est au maximum égale à l'indice mais le bailleur peut réviser moins ?
Merci pour votre aide