Recuperer fond chez le notaire refus prêt

Bonjour,
J’ai reçu un refus bancaire suite à la demande d’achat d’un prêt immobilier. Le propriétaire veut lancer une procèdure. Y a-t-il possibilité qu’il gagne, et que je perde mon capital d’apport ?

Sachant que :
J’avais fournis lors de la signature une simulation de prêt partant sur l’hypothèse d’une vente de mon bien à 377.000 euros. Basé sur une estimation d’agence de fin 2007.
J’ai signé chez le notaire en juillet 2008, mon bien a été estimé quelques semaines plus tard par 3 agences à 320.000 euros. La banque accepte finalement le prêt sous condition de vente de mon bien à minimum 320.000 euros. Condition que je n’ai pu remplir à ce jour.
J’ai cependant 2 autres refus bancaires (avec des demandes de prêt identique).
Le propriétaire prétend qu’au vue de mes revenus je peu lever la condition restrictive de 320.000 euros de la première banque. Que cette condition ne figurait pas au compromis de vente , et a donc pris contact avec son avocat . Le notaire a bloqué le remboursement.

Merci d’avance de votre avis.