Erreur cadastrale

Bonjour,
J'achète actuellement une maison. Le compromis de vente a été signé donc accord du vendeur et de l'acheteur (moi-même).
Après avoir signé le compromis, j'ai eu les plans du cadastre. Sur ce dernier, une partie de la maison (3-4m2) est censée m'appartenir si on en suit le cadastre mais je n'y ai pas accès. Cependant, pour le moment, c'est le voisin qui y a accès par son jardin. Dans son acte notarié, il n'y a rien qui lui donne la légitimité et la possession de ce morceau.
Je l'ai signalé a l'agence qui a fait passé un géomètre expert après la signature du compris de vente pour faire régulariser la situation. Ils entendent par la que cette partie de 3-4m2 revienne au voisin. Cependant, je ne l'entend pas de cette oreille, car je souhaite récupérer ces mètres carrés qui m'appartiennent si on en suit le cadastre et l'acte notarié du voisin. L'agence me menace d'annuler la vente.
Egalement, sur le compromis de vente SIGNE, le vendeur et l'acheteur (donc moi) nous sommes mis d'accord pour la vente d'une maison a usage d'habitation sur une parcelle de 180m2 (donc les 3-4m2 sont dans ces 180m2).

Peuvent t'ils me déposséder de cette manière de cette partie ?? Car si l'on en suit l'article 1589 du code civil, je pense qu'ils ne peuvent pas ?? Quelle solution pour récupérer ce morceau ??

PS : pour moi, c'est une erreur de l'agence, ils auraient du régulariser la situation avant de me faire signer le compromis de vente. D'autant plus que le voisin n'a rien dans ses papiers (actes notarié) qui prouve que cette partie lui appartient bien.