Séquestre de l'acheteur bloqué après échec de la vente

Bonjour,

Voici ma situation,
Le 17 Septembre 2012, j'ai signé un compromis de vente pour l'achat d'un appartement. Mon notaire est commun avec celui du vendeur.

Je suis passée par un courtier n'ayant que peu de disponibilités pour m'occuper de démarcher les banques. Le courtier m'indique qu'il a réussi a obtenir un prêt au taux convenu, quelques jours après il me rappelle pour me dire que finalement la caution n'a pas accepter le dossier, le 28 Septembre 2012.

Il reprend alors les recherches (les ayant abandonné pensant avoir obtenu mon prêt). S'en suit alors un refus supplémentaire daté du 15 Octobre 2012.

Ces deux refus interviennent donc dans le temps requis d'un mois.

En revanche, mon courtier a mis du temps a obtenir les deux attestations de refus que je devais transmettre au notaire, ainsi, je n'ai pu lui faire parvenir que le 5 Décembre même si les attestations étaient datées d'avant le 17 Octobre.

A la suite de l'envoi des 2 refus, j'ai demandé au notaire de débloquer le séquestre déposé, celui ci m'a alors indiqué que il ne pouvait le faire qu'avec l'accord du vendeur. Après un mois et sans nouvelle du notaire, je l'ai recontacté et celui ci m'a dit qu'il ne parvenait pas à contacter le vendeur.
J'ai donc décidé de prendre contact avec le vendeur et celui ci m'annonce qu'il refuse de débloquer le séquestre car je ne l'ai pas prévenu des refus en temps réel et me réclame la moitié du séquestre pour pallier à ce qu'il considérait comme un préjudice. J'estime que cette réaction est de la mauvaise fois et souhaite récupérer le séquestre dans son intégralité car cette non-vente est aussi préjudiciable pour moi car je souhaitais réellement acheter ce bien.

Le notaire ne prend aucun parti et la situation est aujourd'hui bloquée, qu'en est il de mes droits? Quel recours puis-je avoir? Suis je obligée d'en venir à la justice?