Propriétaire ne veut pas faire d'état des lieux

Bonjour à tous,
Je souhaiterai avoir l'avis de plusieurs personnes concernant ma situation.
J'ai loué un appartement meublé début janvier qui se situe en rez de chaussée et je ne m'y sentais pas bien du tout. Les gendarmes venaient à répétitions dans l'entrée donc devant chez moi, des personnes s'amusaient à ouvrir les boîtes aux lettres et voler tous le courrier et j'en passe... Je ne m'y sentais pas en sécurité du tout. J'en ai donc discuté avec mon propriétaire en lui expliquant la situation et je l'ai prévenu que je ne souhaitais pas rester dans l'appartement. J'ai donc envoyé une lettre en recommandé pour mon préavis qu'il n'a pas voulu accepter. Après plusieurs tentative et en lui disant que je finirai par faire appel à un huissier il a finalement accepté que je quitte l'appartement le 31 Mars. Le soucis c'est que entre temps, le confinement a été mis en place et je n'ai pas pu effectuer l'état des lieux. Il m'a donc demandé de lui envoyé les clés chez lui, ce que j'ai fait mais au vue de la situation il les a reçu que 3 semaines après, et il n'a pas oublié de me dire qu'il y avait eu du retard sur la réception des clés. Le jour de la réception des clés il m'a envoyé un SMS pour me dire qu'il les avait reçu et par la suite je lui ai envoyé un message pour savoir comment nous ferons pour l'état des lieux une fois le confinement terminé. Je n'ai eu aucune nouvelles pendant 3 semaines ! Je l'ai en tout appelé 5 fois en 3 semaines car je n'avais plus de nouvelles et je lui ai demandé que l'on convienne une date pour l'état des lieux à la fin du confinement le 11 mai. Il a quand même ma caution de 660€ que je souhaiterai récupérer. Après avoir contacter une amie qui travaille en agence immobilière, elle m'a conseillé de lui écrire un autre message pour demander une date d'état des lieux et de lui dire que sans nouvelles de sa part, je contacterai un huissier qui s'occupera de cela. Je l'ai donc fait et j'ai fini par avoir une réponse de mon propriétaire qui me dit que si je continue de l'appeler il porterait plainte pour harcèlement et que sachant qu'il ne peut pas se déplacer pour l'état des lieux il ne conviendrait pas de date le temps que le confinement n'est pas terminé et il veut appeler mon employeur pour lui dire de me rappeler les règles du confinement. Étant donné que le confinement sera le 11 mai appriorie, je lui ai répondu que je voulais juste convenir une date et c'est pour cela que j'essaie de la contacter ce qui me paraît normal ! Depuis je n'ai plus de nouvelles, je vais attendre la fin du confinement voir si il me rappelle mais j'avoue que la situation me déstabilise un peu.. Si il ne me répond pas est ce que je fais appel à huissier ? Sachant que je sais qu'il est capable de me prendre une partie de ma caution seulement pour m'embêter..
Merci d'avance pour vos réponses