Rétractation de l'acquéreur

Bonjour,
Je vends un terrain constructible . Le compromis de vente a été signé.
La veille de la signature de l'Acte notarié , l'acquéreur s'est rétracté disant que le terrain est trop "humide" et que la construction va lui coûter plus cher .
Je précise que le terrain a été déclaré constructible et non-inondable . J'habite d'ailleurs sur la prolongation de ce même terrain . C''est un terrain à drainer comme tout terrain en terre argileuse . ( le boulot du constructeur)
Pour la mise en vente , je suis passée par une agence immobilière .
Dans le compromis de vente , il est précisé que l'acquéreur peut se délier de la vente en versant une indemnité de 5000 euros , soit le dixième du prix du terrain . La notaire me dit qu'elle n'a pas le pouvoir judiciaire de faire exécuter cette clause .( Elle-même et l'agence ne tiennent pas l'acquéreur en estime , ils passent pour des gens à histoires ). Ce terrain n'est pas un marécage , encore moins une rizière !! Le prétexte est gros , pour obtenir une baisse du prix . Mais cela n'a pas été discuté et n'a pas de raison d'être de toutes façons .
Que puis-je faire ? La situation est bloquée . Devons-nous aller en justice ?
Merci de votre réponse