Bail caduc?

Bonjour,
Il y a un peu plus de 4 mois,je louait un appartement doté d une petite dépendance à l extérieur en location construit depuis une vingtaine d'années sur un passage public.
Ce dernier apparaissant sur le bail que j ai signé, je ne m étais jamais soucié de savoir si la construction de ce local était légal ou pas.
La mairie ayant engagée des travaux juste à côté de chez moi,c est naturellement qu elle a demandé aux propriétaires des logements riverains de dégager le passage public, faisant ainsi sauter ce local dont j avais un réel besoin.
Par courtoisie envers mon propriétaire, je lui ai donc envoyé mon préavis dans les règles de l art, mais ce dernier souhaite garder ma caution afin de régler l entretien de la chaudière et les 15 dernier jours de location manquant alors qu'il me manque un local depuis plus de trois mois.
Est ce légal? Et si non, ai je un recours par rapport à ce fait? Merci d avance pour votre réponse !