Changement de propriétaire et le nouveau veux récupérer le jardin de ma location

Bonjour,

Je loue une maison depuis 2 ans. Dans mon contrat de de location, la case "jardin" est bien cochée mais sans précisions. L'ancien bailleur m'avait attribué un petit jardin (15-20 m2) qui est attenant à ma maison ainsi qu'à la sienne et cela a été discuté avant le debut de location. Le jardin n'est pas clôturé et il y a un droit de passage pour les 3 voisins qui habitent à côté.

Le nouveau bailleur (qui a acheté les deux maisons) est arrivé et me dit qu'il va faire des travaux dans sa maison et a l'extérieur et qu'il a prévu d'utiliser ce jardin à sa guise et qu'il faut donc que j'enlève mon mobilier de jardin etc.

A-il le droit de faire cela ? Légalement, doit-il revoir mon loyer à la baisse (et si oui de combien de %) et créer un nouveau bail ?

P.S: dans le cadastre, ce jardin fait partie de la maison du bailleur et non de la mienne.