Annuler un compromis de vente après délai de rétractation

Bonjour,

Je devais signer l’acte authentique pour une maison avec jardin clos de murs que je souhaite acquérir. 
La notaire a pointé du doigt une anomalie cadastrale et une partie du terrain ( 45 m2 sur 90m2) appartient en fait au voisin. ( ce mur a dû être érigé il y a fort longtemps et les deux propriétaires de l’époque ont dû s’entendre a l’amiable sans avoir recours à un notaire )
j’ai refusé de signer en demandant que la situation soit clarifiée avant la vente mais j’ai peur que ce soit long et compliqué. 
La propriétaire et la dame de l’agence sont tombées des nues car pour tout le monde il était évident que le terrain était entier . 
J’aimerais savoir comment annuler le compromis de vente (sans pénalités ) signé il y a deux mois ( delai de rétractation passé )  à l’agence immobilière en sachant que le bien qui m’a été présenté par l’agence ne correspond pas à la réalité finalement.

merci pour vos réponses

cdt