Mon propriétaire veut construire

Bonjour,
nous louons depuis 3 ans une petite maison avec une terrase et un jardin. Nous avons cloturé une partie du jardin parce que nous avons un chien. Mais depuis quelques temps, le propriétaire et des ouvriers viennent sans nous prévenir sur l'autre partie du terrain. Nous avons appris que notre propriétaire avait en fait un projet de construction. J'ai donc appelé le propriétaire qui m'a alors dit qu'il était chez lui, qu'il n'avait pas à nous prévenir et que cette partie du terrain ne faisait pas partie de notre location et qu'il fallait qu'on regarde mieux notre bail. Sur notre bail il ya marqué que nous louons la maison avec "terrasse et jardin" sans autre précision. De plus à la mairie nous avons vu le cadastre et les 2 parties du jardin sont en fait une seule et unique parcelle. Donc, je voudrais savoir si la partie non cloturée du jardin fait bien partie de notre location?Nous l'avons entretenue et cultivée depuis 3 ans (potager). Le propriétaire a t'il le droit de construire? Quels sont nos droits, et que pouvons nous faire : demander une baisse du loyer ou faire arrêter la construction? De plus, il a noté sur notre bail qu'il n'était que d'un an "renouvelable par tacite reconduction". Mais nous louons un non meublé et il me semble donc qu'en fait le minimum est donc de 3 ans.