Mon proprio augmente le loyer n'importe quand

Bonjour,
Je suis locataire d'un appartement dont le bail stipule une révision du loyer chaque 1er novembre, date anniversaire de la signature du bail, mais aucun indice de référence n'y est précisé.
Voici l'historique des augmentations du loyer:
- 1er novembre 2000, entrée dans les lieux : 335,39 € (2200 francs à l'époque)
- 1er novembre 2002, après augmentation : 343,01 €
- 1er mars 2006, après augmentation : 362, 38 €
- 1er juillet 2008, après augmentation : 382,38 €
- 1er avril 2009, après augmentation prévue : 392,38 €
Jusqu'à présent j'ai accepté ces augmentations faites un peu n'importe quand, parce que mon propriétaire semble très étourdi et je me disais qu'il oubliait la date anniversaire, et qu'il rattrapait donc tout cela après. Mais je trouve la dernière augmentation prévue pour avril 2009 un peu trop rapprochée de la dernière qui a eu lieu en juillet 2008.
Je lui ai demandé si tout cela était légal et sur quelles bases il fait ses calculs. Il me dit que c'est l'indice du coût de la construction. En m'informant, je découvre que mon loyer ne semble pas être géré dans les règles. J'ai essayé de calculer en m'aidant de toutes les infos de ce forum, mais je me perds dans des comptes d'apothicaire sans savoir si j'utilise les bons chiffres.
Je souhaiterais aussi savoir, si je peux exiger un remboursement s'il s'est trompé en ma défaveur, et si lui-même peut exiger un dû en sachant que rien n'est précisé dans le bail au sujet de l'indice.
Merci d'avance pour le temps et l'énergie que vous utiliserez pour m'aider à calculer et à démêler tout cela.