Obligation de visite pour relocation & emploi

Bonjour,
Je suis dans un petit appartement depuis octobre, j'ai envoyé il y a de cela 3 semaines une lettre AR pour prévenir de mon préavis pour quitter les lieux au 21mai... Le clerc de notaire en charge de l'appartement souhaitant que je lui propose 2h dans ma journée pour les visites, ne veut pas entendre que je ne puisse pas poser de congés pour lui ouvrir la porte, mes horaires de travail + déplacement sont 7h-19h30 chaque jour incompressible et je suis en période d'essai... Sous sa pression j'ai du lui laisser les clés avec un courrier pour l'autorisé à faire les visites car les horaires 20-22h + samedi entier ne lui convenait pas... Aujourd'hui il accuse réception de mon courrier mais me prévient qu'en cas de refus pour une seule des visites il se verra dans l'obligation de me faire poser congés pour lui ouvrir... Que puis je répondre à cela, j'ai déjà fais l'effort de laisser mes clés d'appartement avec mes biens et mes chats à l'intérieur qui risquent qqchose à un inconnu, j'estime avoir le droit de refuser une visite si j'avais de la visite ce jour la par exemple... Que puis je faire...
Merci de m'avoir lu.