Condition suspensive : accompte non remboursé

Bonjour,
J'ai signé un compromis de vente dans une agence avec le propriétaire d'un appartement le 07/10/2010. La condition suspensive était :
- Obtention d'un prêt de 200 000 euros
- 3.9% maximum
- durée 25 ans
La date limite le 22/11/2010.

Autre fait important : j'ai un crédit immobilier en cours pour une résidence secondaire louée.

j'ai fait une demande à un courtier qui, dans le but de réduire mon endettement, a fait des demandes de prêt pour 200 000 euros et a aussi fait des demandes de rachat de mon crédit immobilier en cours.
Le 19/11/201 j'ai envoyé une lettre de non réalisation de la condition suspensive avec 2 lettres :
- une de la BNP Paribas précisant qu'il refusait d'octroyer le prêt de 200 000 euro sur 25 an à un taux de 3.61% et le rachat du crédit
- une du CA pour le même refus (prêt immo + rachat de crédit)

Aujourd'hui le vendeur refuse de débloquer l'acompte de 14000 euro que j'avais versé sous prétexte que je n'ai pas respecté les conditions de demande du prêt vu que j'ai demandé un rachat de crédit en même temps.

Seulement le rachat de crédit n'avais pour but que de diminuer le taux d'endettement car sans le rachat de crédit je n'aurai pas non plus obtenu le prêt.

Que dois je faire pour récupérer mon argent ?