Problèmes de servitude

Bonjour
nous avons signé un compromis pour un terrain qui n'était pas borné au moment de la signature (et qui ne l'est toujours pas). Nous savions que la mairie pouvait préempter un "petit" morceau du terrain qui s'avère être au final presque 2 ares! mais nous avons appris après signature du compromis que cette partie du terrain est grevée d'une servitude et non constructible. Tout cela fait que nous devons modifier notre projet de construction. Nous souhaiterions annuler le compromis mais nous craignons d'avoir des frais car le notaire m'a dit "vous saviez qu'il y avait une emprise de la mairie mais nous n'avions pas pu déterminer l'emplacement sur le plan". J'espère que quelqu'un pourra m'apporter des réponses. Merci