Visite de l'appart pendant délai préavis

Bonjour,

J'habite un appartement HLM. Suite à la mutation de mon conjoint j'ai donné congé à mon bailleur, avec un préavis d'un mois. Il me répond que pendant le délai de préavis il fera visiter les lieux par de nouveaux locataires éventuels. Cela ne me convient pas car ça implique que je sois présente chaque fois qu'une visite est prévue ou que je laisse les clés au gardien pour que les visite se fassent en mon absence. Dans les deux cas c'est une contrainte car je devrais organiser mes journées en fonction de leur programme ou que des personnes que je ne connais pas soient dans mon appartement en mon absence.

Mon bailleur a_t_il le droit de m'imposer ces visistes? Quels sont mes recours?

Merci d'avance