Changement de propriétaire

Bonjour,
J'ai acheté en février 2007 un appartement occupé par un locataire qui avait un bail datant de mars 2000. Le montant du loyer révisé en 2006 était inscrit sur l'acte de vente.
Depuis 2007 j'ai aplpliqué sur ce montant 2006, des révisions de loyer inférieures aux indices légaux.
Mon locataire se retourne aujourd'hui contre moi, il a détecté une "erreur" dans la révision de 2005 qui lui a été proposée par l'ancien propriétaire et qu'il a alors acceptée.
Conseillé par l'ADIL et CLCV, il me réclame un "trop perçu" sur les 5 dernières années, donc depuis mon achat, qui s'élève à l'équivalent de 3 mois de loyers et fixe son nouveau loyer en appliquant les indices officiels depuis la date d'origine du bail.
Je n'ai aucun moyen de vérifier qu'il n'y a pas eu accord en 2005. Le loyer actuel est situé dans la fourchette basse des loyers compte tenu des caractéristiques de l'appartement et du quartier.
Je crois comprendre que malgré mon évidente bonne foi je ne dispose d'aucun recours vis à vis de cette démarche particulièrement malhonnête. Qu'en est-il exactement.
Merci pour vos conseils