Compromis terrain

Bonjour,
J'aurai besoin d'un conseil.

Je vous explique notre histoire. Au mois de mai nous avons signé un compromis de vente pour un terrain a bâtir a viabiliser en face d'un lotissement qui allait être construit. Dans ce compromis nous étions tenu de déposer un permis avant le 30 juin. Nous avons donc commencé les démarches auprès des constructeurs et j'ai également commencé les devis pour la viabilisation du terrain. Nous avons été contactés par noreade afin de participer a une réunion de chantier pour profiter des travaux en cours pour la viabilisation du lotissement d'en face, car noreade nous a expliqué que dans ce cas ce n'était pas eux qui viabilisait. Deux jours plus tard nous étions contacté par le lotisseur qui nous a expliqué que le chemin d'accès au terrain en question n'était pas du domaine public mais du domaine privé et qu'il lui appartenait. Il avait contacté a plusieurs reprises la propriétaire du terrain pour convenir d'un accord pour le désenclavement et la viabilisation du terrain mais que celle ci n'avait jamais répondu,et que aujourd'hui la somme pour faire tout cela est de 30 000 euros, sans quoi nous ne pourrons pas avoir de permis. J'ai donc immédiatement recontacté le notaire pour en savoir plus,qui m'a dit qu'il n'était pas au courant de cela et qu'il allait se renseigner. Quelques jours plus tard, j'ai rappelé pour en savoir plus et finalement la propriétaire était en train de faire d'autres devis. Nous avons pris contact avec le maire car nous voulions connaître la vérité et visiblement via le notaire c'était compliqué. A la mairie nous avons obtenu sans aucune difficulté le papier qui montre que la partie de la rue en question appartient au lotisseur depuis le mois de novembre, ainsi que le plu a jour (celui du compromis et celui que la clerc de notaire a trouvé sur le site de la ville et n'est plus a jour depuis 2017). Suite a tout cela j'ai repris contact avec le notaire qui m'a dit que la propriétaire avait rendez-vous avec le maire, il faut attendre encore et encore en approchant dangereusement de la date limite de dépôt de permis. En date du 17 juin nous avons donc fait un courrier en spécifiant notre volonté de nous retirer pour l'achat de ce terrain. J'ai reçu un mail du notaire qui me dit qu'il a transmis les papiers a la propriétaire. Depuis plus rien, j'ai donc une fois de plus repris contact avec lui et il m'explique qu'on doit attendre l'accord de la propriétaire pour mettre fin au dossier. Il y a a notre sens des vices de procédure dans ce dossier où il y a quand même eu beaucoup d'objets manquants dans le compromis.
Que dois je faire, sachant que notre souhait est dans finir au plus vite avec ce terrain afin de pouvoir passer à autre chose au plus vite (a savoir que nous avons repris les visites rapidement et aimerions pouvoir signer un nouveau compromis pour une maison prochainement).