Compromis de vente d'un terrain constructible

Bonjour
j'ai passer un compromis de vente d'un terrain constructible au 14/01/2018 la date butoire était au mois de juillet 2018 l'acheteur n'a pas obtenu le permis de construire,il n'a pas respecté les directives imposèes par la commune.A chacuns de ses dépots de permis il revenait sur des dépassements de construction .Il était sensé respecter les arrétés par avis de la mairie.Deux dépots de permis de contruire en 1 an et tourjours aucune volonté d'avancer sur les modifications.
Je me suis mis en contact avec mon notaire qu m'a affirmé que le compromis était caduque et que je pouvais le remettre a la vente.
Comment annuler ce compromis et sortir de cet imbroglio