Refus par le vendeur de restituer le dépot de garanti

Suite au refus de deux banques je ne peux acheter la maison, le vendeur refuse de rendre le dépôt de garanti après que l'on est produit deux lettres de refus de prêt de deux banques différentes. Son argument est que les délais sont dépassés, or aucun délai autre que celui de l'acceptation n'est prévu au compromis, d'ailleurs la première lettre de refus à été remise avant la date prévu pour la réalisation.
Il été prévu au compromis que l'acquéreur devait signifié au vendeur son accord de prêt et rien sur le refus.
Merci d'avance pour vos réponses
Belino 83