Désaccord

Bonjour,
Mon propriétaire me loue un logement 850 e il y a un petit local de 4m dans mon jardin ou sa femme a mis un bureau et une chaise car elle es infirmière mais y exerce pas sur place C pour les impôts ce jour il me demande une clefs pour venir quand elle veut pour soit disant exercer me menace d expulsion et me harcèle à chaque fois car je lui refuse l accès C est chez moi je paye mon loyer il est hors de question de partager.. De plus son local est raccordé à mon domicile en eau EDF ..
Sur mon bail rien n est apposé disant que je suis dans l obligation de le laisser venir ou que j ai n ai pas la jouissances de tout bail signé le 1 er juin et état des lieux signé et fait le 29 juillet sur c est état des lieux par contre il me l'a rajouté.
Suis dans mon droit de refus ou non merci