Augmentation loyer

Bonjour,

Nous sommes locataires depuis 3 ans et 2 mois d'une maison faisant partie d'une propriété sur laquelle est bâti deux maisons mitoyennes par l'abri voitures. Nous entretenons la maison et le terrain comme il faut et nous n'avons jamais eu de retard de paiement de loyer. Le propriétaire a régulièrement augmenté le loyer chaque année, augmentation basée sur l'indice de construction) comme la loi l'indique. Il veut récupérer sa maison pour l'habiter mais nous n'avons pas accepté la résiliation en 2013 car il n'a pas respecté la forme et la date d'envoi car dans le courrier en recommandé il ne donne pas la raison pour laquelle il ne reconduit pas le bail. Nous avons appris qu'il n'a pas augmenté le loyer de la maison mitoyenne depuis 4 ans. Nous lui avons posé la question et il nous a répondu qu'il faisait ce qu'il voulait et que cela ne nous regardait pas. De plus, alors que nous pouvions bénéficier de l'abri voitures, maintenant il est attribué au voisin car le propriétaire a clôturé les 2 maisons avec piquets et grillage à ce niveau. Cet abri n'est pas stipulé sur le contrât bail,mais au moment de la visite de la maison il nous a dit que chaque locataire pouvait en jouir. Le voisin l'utilise mais nous sommes en bon terme, d'autant plus que lui n'y est pour rien. Pensez-vous que si nous refusions de payer chaque année l'augmentation nous serions embêtés.
Merci, pour votre réponse.