Condition suspensive permis de construire

Bonjour,
j'ai signe un compromis de vente pour l'achat d'un terrain il y a 2 mois nous devions signer l'acte de vente au 31 juillet mais pour des raisons divers avons en accord avec le vendeur,repoussée la date.a ma grnde surprise le notaire me demande un permis de construire condition sans laquelle le vente ne pourra se faire! il est bien evideent qu'en 2 moi je n'ai pas monté un projet de maison et obtenu le permis demandé j'avais d'ailleurs precisé oralement que le projet se ferais plus tard et que souhaitais deja acquerir le terrain,mais en relisant le compromis de vente je me rend compte que la condition est bien là (je l'avais pourtant bien lu!) la notaire ne semble pas vouloir effectuer la vente nous somme pourtant pres a acheter sans cette condition (qui nous protege c'est le leitmotiv du notaire) le vendeur est pres a vendre la seule personne qui freine c'est le notaire! nous avons rv mardi tous ensemble .que pouvons nous faire ? le compromis est ,en principe, caduque pouvons nous en faire refaire un ?le notaire est il en droit d'empecher cette vente? les choses sont pourtant simple nous voulons acheter et le vendeur veut vendre! merci de m'aider a y voir plus clair