Non restitution du depot de garantie

Bonjour,
J'ai signe une promesse d'achat en avril, j'avais jusqu'au 23 mai pour presenter une offre de pret. je contacte le courtier le 23 mai pour avoir une reponse definitive et la il me demande une semaine suplementaire, donc j'appelle le proprietaire qui me donne son accord verbal et je previens egalement le notaire qui me dit ok et ne me dit rien d'autre. Le 27 mai mon courtier me contacte pour me dire que la banque refuse le pret aussitot j'envoie le recommande avec la lettre du courtier disant que le pret avait ete refuse. Maintenant le proprietaire ne veut pas me rembourser le depot de garantie en disant que j'ai depasser le delais qui etais fixe au 23 mai. Ma question est: le notaire a été prevenu par telephone et il ne m'a pas dit d'envoyer un courrier, dans ce cas le delai supplementaire que j'ai demander est t il valable? j'ai envoyer le premier refus de pret le 27 mai dans les delais convenu avec le notaire au telephone. Le proprietaire a refuse cette lettre et j'ai du envoyer 2 autres recommandes avec deux refus de pret conforme au compromis de vente