Refus de restitution de depôt de garantie par le vendeur

Bonjour,
j'ai signé un compromis de vente le 3 juin 2013, j'ai donc déposé une offre de prêt le 13 juin 2013 mais le prêt a été refusé (j'ai respecté toutes les clauses suspensives imposées). J'ai donc eu une attestation de refus de prêt le 19 juillet 2013 (j'avais jusqu'au 1er août pour donner une réponse) par la banque que j'ai envoyé en recommandé au notaire et au vendeur. Le problème c'est que le notaire dit qu'il faut l'accord du vendeur pour me restituer le dépôt de garantie. J'essaie également de contacter à plusieurs reprises le vendeur par téléphone et mail mais il fait le sourd.
Je ne comprends pas pourquoi il faut l'accord du vendeur alors que le dépôt de garantie est l'argent de l'acquéreur.
Je tiens à signaler que c'est le notaire du vendeur.
Que dois-je faire svp? Merci