Compromis mais mensonge

Bonjour,

j'ai signé un compromis de vente, mais après quelques jours et dépassement du délai de rétractation, et malgré des recherches dans les plan cadastral il était impossible de savoir le propriétaire de l'un des murs de la maison.

Le notaire, l'agence immobilière, n’était pas au courant, j'ai donc pris contact avec le voisin qui m'as informé que le mur, ou les restes sont visible était le mur mitoyen et que le mur d'agglo est as lui.

En résume la maison possède donc 3 murs complet, et 1 mur qui a été abattu.

L'agence refuse de faire annulé le compromis, car ce ne serais pas un vice-caché selon lui, les plan du cadastre ne mentionne pas de propriétaire du mur en question.
Le vendeur lui déclare m'en avoir informé, hors l'agence ne le savais même pas, ni le notaire qui m'as donné le nom du voisin ...

Ma banque a deja donné son accord, du coup je ne peux pas avoir un refus bancaire, quel solution peuvent être utilisé pour faire annulé la vente ?

Cordialement.