Préavis et obligation de visites??

Bonjour,
je loue actuellement un appartement et ai donné mon préavis pour mutation stipulant mon départ pour le 2 septembre. Etant en congé, je suis partie en vacances et ne suis donc pas dans l'appartement que je loue en ce moment. Il y a donc encore toutes mes affaires dans l'appart' car je ne signerai le nouveau bail que la semaine prochaine. Je ne peux donc pas effectuer le déménagement tout de suite.
Il y a quinze jours, l'agence m'a appelée me demandant si je voulais bien qu'ils effectuent des visites en mon absence. J'avais au départ accepté mais cela m'a rendue malade par la suite. De plus, ayant appris qu'on faisait du coup des visites sans m'en informer, j'ai changé le verrou de l'appartement.
Depuis, le propriétaire de l'appartement me harcèle en me demandant les clés du nouveau verrou, pour effectuer les visites. J'ai répondu au départ, plus ensuite, ne voulant pas céder au harcèlement. J'ai eu alors aujourd'hui, un nouveau message du propriétaire me disant qu'il ferait venir un huissier pour entrer dans l'appartement.
Est-ce normal?!?