Achat immobilier qui vire au cauchemard. Puis-je porter plainte?

Bonjour,
Je vous raconte mon histoire afin d'avoir vos conseils.
En octobre dernier, nous faisons une offre d'achat pour une ancienne ferme transformée en habitation dans le centre de la France via un agent immobilier. Notre offre est acceptée et nous nous apprêtons à signer le compromis. Notre seule condition suspensive est le dépôt et l'obtention d'un permis de construire pour transformer des annexes en gîtes.
En novembre, notre notaire nous informe que la destination du bien que nous voulons acheter n'a pas été transformée en habitation par le propriétaire actuel, que la piscine et véranda n'ont pas été déclarées, et que le vendeur doit régulariser. Ce dernier fait un peu la sourde oreille mais finit par prendre un architecte et faire le nécessaire.
Nous nous voyons chez son notaire fin janvier pour enfin signer le compromis et déposer notre permis de construire. Mais coup de théâtre, le vendeur pique une "crise" et ne veut pas des conditions suspensives (les délais d'obtention et de recours des permis respectifs). Il veut qu'on signe tout de suite car il a donné congés aux gardiens et que la propriété ne peut pas rester vide. Son notaire et l'agent immobilier le tentent de le raisonner, et il finit par charger son notaire de mener la vente à son terme, disant qu'il se décharge de tout.
Dès l'obtention de son permis, le vendeur nous le transmet par mail afin que nous puissions déposer le nôtre en mars.
Fin mars, nous échangeons avec lui pour une intervention de la société qui s'occupe de l'assainissement. Tous nos mails sont en copie à nos notaires respectifs et à l'agent immobilier.
Mi avril, nous avons l'accord pour notre permis de construire, nous allons afficher le panneau, pour que commence à courir le délai (2 mois) d'éventuels recours, et bien sûr, nous en informons le vendeur et les notaires.
Re coup de théâtre, le vendeur nous envoie une lettre recommandée disant qu'il ne veut plus nous vendre sa propriété.
Notre notaire est stupéfaite et son notaire fait le mort depuis le début de la semaine.
Je sais bien que je ne peux pas l'obliger à nous vendre son bien mais nous avons eu des frais de l'ordre de 2000 euros pour le permis de construire et j'aimerai au moins récupérer cet argent.
Merci d'avoir lu le pavé et pour vos conseils