Mon propriétaire veut récupérer une partie de mon garage

Bonjour,
Je suis locataire dans une ferme ancienne mitoyenne avec mon propriétaire. Celui-ci veut récupérer une partie de mon garage pour y entreposer son matériel de bricolage (brouettes....). Pour cela, il veut monter un mur à hauteur d'homme.
J'ai fermé les yeux sur le fait qu'il ouvre une fenêtre qui donne directement sur mon jardin, sur le fait de ne pas avoir de gouttières, d'avoir une antenne défectueuse, que le grillage qui nous sépare menace de tomber.... mais là, je suis furieuse ; non content de m'enlever une partie que moi-même j'utilise, il va dénaturer l'ancien avec son mur en parpaing. Et je trouve que c'est abusé.
J' ai un bail de location biensûr mais il n'y a pas de durée de précisée. Est-ce que j'ai le droit de refuser ? À t'il le droit de me dire "si tu n'es pas contente, tu peux partir ?".
En vous remerciant par avance de vos réponses.
Cordialement