Annulation du compromis de vente

Bonjour,
j'ai signé un compromis de vente le 06 octobre 2011 concernant un terrain à batir avec une clause particulière, à savoir que la vente se finalisait uniquement sur obtention du crédit ou non.
Au 21 octobre, on nous demandait (dans le compromis) d'avoir déposé la demande de crédit auprès d'une banque, ce qui était chose faite.
Au 30 novembre, nous devions tenir au courant le propriétaire d'une réponse de crédit ou non, ce qui n'a pas été fait car nous n'avions pas encore de réponse et que nous n'avions pas retenue cette date.
Au 15 janvier nous devions finaliser la vente, mais la banque ne nous ayant tjs pas donné de réponse, nous avons du prévenir le notaire et l'agence immobilière.
Le retard de la banque étant du je le précise au nouveau barême du PTZ que l'état revoit chaque année.
Finalement pour "se protéger" le vendeur nous envoie une lettre de mise en demeure au 17 janvier, nous laissant 7 jours pour donner une réponse positive ou négative de notre prêt immobilier, sans quoi le vendeur n'était plus engagé avec nous.
Au 24 janvier, dernier jour de notre mise en demeure, la banque répond enfin positivement à notre demande de crédit, et un fax est aussitôt envoyé à la notaire.
La vente doit donc être finaliser puisque que nous sommes dans les délais de la mise en demeure.
Pourtant le propriétaire annule la vente 3 jours plus tard, prétextant qu'il faut qu'il soit payé absolument avant le 1er février, ce que la banque ne peut faire car il y a un délais imposé par la loi de 11jours avant de pouvoir débloquer les fonds!

une semaine plus tard, je reçois une lettre avec accusé de reception me disant, que aucune offre de prêt ayant été donné au 25 janvier (ce qui est faux la réponse datait du 24), le compromis devient nul et de nul effet, et que le vendeur ne se trouve donc plus engagé envers nous!
je reçois ac çà l'avance sur frais de notaire que j'avais déposé lors de la signature du compromis de vente, à savoir la somme de 300 euros moins 34 euros de frais de dossier, et le dépot de garantie de 1500 euros.
La question que je me pose c'est : est ce que j'ai le droit de demander des indemnités au vendeur, vu que notre réponse positive de prêt à été donné dans les délais de la mise en demeure, et que si je comprends bien, il n'avait aucun droit normalement de rompre la vente!
Le courrier de la notaire est faux puisqu'elle mentionne la date du 25 janvier, hors notre conseiller financier lui a bien faxé la réponse positive le mardi 24 à midi.
Quel recours puis-je engagé?