Base de l'augmentation de loyer oublié

Je loue un appartement depuis 1997 et suis sans nouvelles de mon propriétaire depuis 2005. Il me réclame désormais son dû soit une augmentation de loyer depuis 2006 (5 ans en arrière, c'est réglo). Sur quelles bases ajoute-t-on l'indice du coût de la construction ? Sur mon loyer de 2005 ré-évalué chaque année selon l'indice de la construction OU à partir du montant de mon loyer de 2006 ?
Merci de vos réponses !