Rétractation du vendeur la veille de la signature du compromis

Bonjour à tous,
voici mon souci, il y a environ trois mois, mon épouse et moi même visitions une maison, gros coup de coeur mais maison trop petite ( 70m²alors que nous somme 4)

Quelques semaines plus tard et au vu des possibilité d’extension de celle ci mis en avant par le propriétaire, nous reprenons contact, le vendeur nous confirme ces possibilités d'extension et nous envoi ces échanges de mails sur le sujet avec la mairie.
Nous décidons de faire une offre bien en dessous du prix affiché, accepté et signé par le vendeur apparemment pressé pour raison sentimentale.
Rdv pris à la banque belle surprise, la banquière nous explique que nous avons le droit à un gros prêt à taux zero.
Le vendeur nous propose son notaire et rendez vous est pris trois semaines après la date de la signature de la promesse d'achat pour signature du compromis.
Profitant suite à une opération chirurgicale d’être cloué chez moi, j'en profite pour gagner du temps pour prendre rdv à la mairie, communauté de commune, architecte conseil... aucun problème pour anticipé le permis de construire pour les prets bancaire.

4 jours avant la signature, le vendeur revient vers nous par mail et nous explique que notre mode de financement ( pret à taux zero) ne lui convient pas et que le fait que nous demandions un permis de construire allais lui faire perdre trop de temps... il nous précise qu'un autre couple très intéressé lui propose un meilleur prix, d'acheter son bien sans permis de construire et de faire les demande de pc après l'achat... je doute mais bon.
La veille de la signature ( ce dimanche ) derniers mail de sa part nous expliquant que si nous ne changions pas de mode de financement ( à savoir renoncer au prêt à taux zero ) et un achat sans permis de construire, il refuserais de signé le compromis.
Hier matin il ne sait pas présenté chez le notaire en leurs donnant en excuses que nous n'avions pas voulus faire les efforts nécessaire sur le mode de financement...
Nous sommes toutes la familles complètement abattus, ma femme à pleurer toute la soirée, quoi faire? devons nous prendre rendez vous avec un avocat? j'ai lu quelques blog parlants des articles 1582 1583 1584 et surtout le plus important le 1589 du code civil mais en pratique comment ça se passe? nous ne roulons pas sur l'or, combien pourrais couter une telle procédure? et pour quel résultat?

un peu long désolé mais j'ai essayé d'etre le plus complet possible, merci de m'avoir lu et pour vos réponses
bien amicalement
bruno