Récupérer la caution

J'ai loué une petite maison avec mon ami. Le propriétaire a fait un état des lieux à la va vite.
Mail là n'est pas le problème.
Nous lui avons signalé par lettre recommandée avec accusé de réception que nous quittions cette maison. Nous lui avons envoyé la même lettre en lettre normale.
Il nous a dit n'avoir jamais reçu d'avis dans sa boîte aux lettres pour aller la chercher. Il n'était pas d'accord pour la date de fin de bail.
Le problème s'est solutionné.
Il y a plus de 2 mois que nous avons quitté les lieux( la location est déjà reprise) et nous n'avons toujours pas eu la restitution de la caution.
Nous avons renvoyé une lettre recommandée avec accusé de réception et une lettre ordinaire contenant la même demande. La lettre recommandée avec accusé de réception nous est revenu avec comme motif : destinataire inconnu à cette adresse.
Comment faire pour récupérer la caution? Merci de votre aide