Annulation compromis de vente terrain

Bonjour,

Nous avons acheté un terrain le 29 novembre 2010. Le permis a été refusé une première fois par la DDE. Il se trouve qu'une servitude notée chez le notaire de canalisation passe sur le terrain et qui engendre des frais onéreux. Puis-je me désister et annuler la vente sans qu'il y est de frais ? Merci pour vos réponses très utiles.