Délais de prescription pour récupérer un trop perçu

Bonjour,

Je suis locataire d'une maison depuis plus de 35 ans. Il sagit d'une location vide.J'ai signé un bail à l'entrée des lieux , c'est à dire le 01/01/1982 et depuis plus rien. A l'époque il sagissait d'un bail qui se renouvelait chaque année par tacite reconduction. Le montant du loyer initial était de 750 francs revalorisables chaque année selon l'indice de l'INSEE
Depuis 3 ans maintenant (01/01/2014) mon propriétaire qui estime que le loyer est sous-estimé a décidé d'appliquer une augmentation de 250€ à raison de 25€ par mois chaque année , il a l'intention de faire çà pendant 10 ans pour arriver aux 250€.
Je precise que celà s'est fait verbalement sans aucun accord écrit, pas d'envoi de courrier recommandés , il n'a pas pris référence sur d' autres logement identiques comme l'exige la loi, bref la procédure n'a pas du tout été respectée.
Lorsqu'il a mis cela en place , il m' a bien dit que si j'étais libre de refuser, lui de son coté, mettrai tout oeuvre en cas de refus , pour me faire partir et récupérer sa maison.Je n'ai donc pas eu d'autre solutions que de payer, autrement cela aurait été "l'enfer" pour moi.
Là, je suis sans doute sur le point d'acheter une maison et par conséquent de libérer les lieux.
J'aurai voulu savoir si le délais de 3 ans pour réclamer le trop perçu commençait à courir à partir de la 1ere augmentation, soit le 1/1/2014, ce qui ferait que dans ce cas il n'y aurait plus aucune action possible , le délais de 3ans étant écoulé.
Ou , si , étant donné qu'une augmentation de 25€ est effectuée chaque année , on peux considérer qu'une nouvelle période débute chaque 1er janvier , dans ce cas je pourrai espérer récupérer le trop perçu des 3 dernières années.
D'avance merci pour vos réponses.