Propriétaire prétend que l'état des lieux ne devait pas se faire avec l'agence

Bonjour,

Le 28/02, nous avons fait l'état des lieux et la remise des clés avec la même agence qui avait fait l'état des lieux d'entrée.

Peu de temps après la fin du préavis (qui était au 29/02), le propriétaire nous téléphone, nous lui expliquons que l'état des lieux est déjà fait. Il nous dit que l'état des lieux était censé se faire avec lui, et nous menace de prendre les frais d'état des lieux de sortie sur notre dépôt de garantie. Mais l'agence nous rassure au téléphone, disant qu'il n'y a pas de frais supplémentaires.

Le 15/04, le propriétaire nous envoie un mail se plaignant que l'agence ne lui a toujours pas rendu les clés. Il prétend que comme il ne les a pas encore, nous sommes redevables du loyer. Au téléphone, l'agence nous dit qu'il n'y a aucune raison pour laquelle nous devions payer ce loyer, et que l'état des lieux de sortie est automatiquement inclus dans leur service.

Aujourd'hui (le 22/04) le propriétaire nous menace de poursuites. Le propriétaire avance notamment que l'agence n'a pas de mandat de gestion, et que c'est à eux et non à l'agence que nous avons adressé le préavis.

A-t-il raison ? Risquons-nous quelque chose ?

Ce qui m'inquiète le plus est que je n'ai aucune preuve que l'agence était bien mandatée pour la sortie (bien que ce soit écrit sur l'état des lieux), et qui plus est la personne qui s'occupait du dossier lors de l'état des lieux a changé de poste, je ne sais pas comment ils ont transféré le dossier.

En vous remerciant d'avance.