VENTE DE TERRAIN A L'ARNAQUE

Bonjour,
Mon vendeur terrain veut nous relifer si je puis dire, "une merde". Il avait un grand terrain qu'il a séparé en deux, il y a une zone au devant du terrain qui est en zone : ZI fort (zone inondable), non constructible, et tout le reste du terrain en zone : ZI moyen, de ce fait la DDE demande à ce qu'il y ait un bassin de récupération d'eau aussi grand que la surface habitable donc plus de 100m². ( Nous sommes novice, pas de notaire lors de la signature du compromis, et le vendeur terrain ne nous avait pas dit non plus qu'il fallait sur-élevé la maison par rapport au sol hydromorphe de 0,70 cm à 1.40m)
Le permis de construire de l'autre parcelle de terrain est revenu REFUSE.
Alors, le vendeur terrain s'est empressé de prendre un tas de rendez-vous administratif * afin (je pense d'après lui) favoriser la réponse du permis de construire .
Il est vrai que le compromis de vente signé n'a que des clauses en faveur du vendeur : prêt positif, ou indemnité d'immobilisation de 10%. Le permis de construire devait être déposé avant le 15 septembre ce qui n'a pas été fait , mais convenu par téléphone qu'une semaine supplémentaire ce n'était pas grave.
*Une semaine avant la date définitive de signature de l'acte de propriété avec le notaire, le vendeur terrain me propose de me rendre à la mairie afin de rencontrer le maire pour discuter de mon dossier et que l'autre couple pour qui leur permis est revenu refusé serait présent également. Entretien avec le maire et la conseillère municipale, et ils sont catégoriques, il faut un bassin de récupération non couvert pour la construction. Nous sommes catégoriques aussi, nous ne voulons pas de bassin de récupration pour la sécurité de nos enfants. Une marre d'eau de plus de 100m², qui attire les moustiques, mouches... NON on n'en veut pas. Il est vrai qu'avant ces soucis , nous avions convenu d'une date de signature de l'acte à la date mentionnée sur le compromis de vente, à savoir le 15 décembre 2008, mais nous leur avions quand même expliqué que nous ne viendrions pas signé tant que le permis de construire n'était pas revenu.
Hors notre compromis de vente n'a pas cette condition suspensive, uniquement le prêt. Et la banque également a sa clause pas de déblocage sans permis de construire. Chance pour nous.
Je pense que le vendeur terrain n'a pas obtenu de réponses en sa faveur lors de sa quête, nous avions rencontré le maire le mardi, et le jeudi à 20h, le notaire qui nous appelle en nous demandant si nous comptions nous rendre au rendez-vous pour la signature. Donc nous avons dit NON que nous ne serions pas présent , et de ce fait le notaire nous explique que si nous ne venons pas signer , le vendeur terrain nous ASSIGNE EN JUSTICE.

Quel recours avons nous? nous souhaiterions que le permis revienne refusé mais de toute façon nous ne voulons lus du terrain. Que faire s'il vous plait?
Merci de votre aide.