Visites en l'absence du propriétaire

Bonjour,

Locataire depuis deux mois, la gestion calamiteuse de mon appartement m'a poussée à donner mon préavis.
Le propriétaire cherche donc à relouer cet appartement, et pour le faire visiter, l'agence qui le représente donne mes coordonnées à tous les candidats.
Je viens d'arriver dans cette petite ville de province, et je ne m'y sens pas en sécurité, aussi je n'ai pas vraiment envie de recevoir chez moi des inconnus. Ce que j'ai signalé par téléphone à l'agence. On m'a répondu que c'est leur façon de faire, que de le refuser équivaut à un refus du droit de visite légal. Hors je ne m'oppose pas aux visites, au contraire, je ne veux simplement pas qu'elles se déroulent en l'absence du propriétaire ou de son représentant.
J'ai un travail relativement souple du point de vue des horaires, cependant je n'ai pas forcement ni le temps ni l'argent de contacter chaque personne qui me laisse un message sur mon répondeur, de même que je ne désire pas que mon numéro soit diffusé sans mon autorisation.

Le bailleur est-il dans son droit lorsqu'il m'impose la gestion des visites ?

Merci pour vos réponses rapides