Restitution dépôt de garantie achat maison

Bonjour,

Mon conjoint et moi avons signé le 20 août dernier un compromis de vente pour l'achat d'une maison, en laissant un dépôt de garantie de 1500 € que le notaire a immédiatement encaissé.
Malheureusement, le prêt immobilier nous a été refusé. Nous avons déposé le courrier de refus de prêt de la banque au cabinet notarial le 16 septembre.
A ce jour, et aprés plusieurs appels et visites au cabinet notarial, on nous répond que le vendeur n'a toujours pas donné son accord écrit pour que nous puissions récupérer nos 1500 €. Nous sommes embêtés d'autant plus que nous venons de trouver une maison beaucoup moins chère que la précédente pour laquelle la banque nous a fait une offre de prêt.
Le vendeur a-t-il le droit de refuser de donner son accord pour la restitution de notre dépôt ? Si oui, que peut-on faire ? Et peut-on signer un compromis de vente pour la maison qui nous intéresse même si nous n'avons pas encore récupérer notre argent ?
Merci de votre aide.