Procedure domage pour annulation compromis vente par l'acheteur

Bonjour,
Suite à la signature d'un compromis de vente pour l'achat d'un terrain l'acheteur potentiel a fini par envoyer une lettre de rétractation hors délai (15 Jours) après la date théorique de signature de l'acte final mentionner dans le compromis de vente.(ce délai incluant les diverses démarches de dépot et obtention du permis de construire +un délai supplémentaire car celui-ci devait partir 1 mois à l'étranger....) Il ne bénéficie d'aucune clause suspensive puisque le financement est intégralement supporter par l'acquéreur sans plan de financement.
De plus cette annulation nous pénalise financièrement puisque le compromis avait volontairement été signer avant le 31/12/2015 pour bénéficier des abattements de l'époque sur la taxation des plus values. Cette loi n'étant plus en vigueur en 2016!!! donc lors de la future vente nous paierons plein pot!!!.
Nous souhaiterions faire valoir nos droit concernant le dédommagement aux quel nous avions droit en signant ce compromis, mais à priori d’après notre notaire il faut engager une procédure en justice pour obtenir ce dédommagement ?
Quelqu’un pourrait il m'en dire plus sur la procédure à suivre ?
Doit ont on obligatoirement allez devant la justice ?
Merci de votre attention et de vos réponses.
Stéphane