Annuler une offre d'achat

Bonjour,
J'ai signé une offre d'achat le 8 août pour une maison ancienne à rénover
Lors des 3 visites du bien l'agence immobilière m'a confirmée que l'intégralité du tour de maison faisait partie de la vente, et qu'il y avait tout les droits de passage.
L'offre à été accepté par le vendeur mais le compromis n'a toujours pas été signé, on avait rdv chez le notaire mi septembre mais le vendeur n'est pas venu.
Depuis j'ai découvert des vices cachés importants, 6m2 de terrain derrière la maison appartiennent finalement au voisin (l'oncle du vendeur), il donne accès aux deux volets de fenêtre de la cuisine.
L'oncle accepte de vendre ce morceau à son neveu mais ses enfants également propriétaires le refusent.
L'agence souhaite mettre en place seulement un droit de passage, rendant inutilisable pour moi comme pour l'oncle les 6m2 car enclavé sur ma propriété et inaccessible pour le voisin par chez lui...
Depuis c'est statu quo, puis-je me rétracter de l'offre vu la complexité et la durée ?
La banque m'a accepté le prêt mais je dépasse de 2% la limite d'endettement.
Il n'y avait également aucun droit de passage pour accéder au compteur EDF placé chez l'oncle.