Mon notaire refuse de signer mon compromis de vente en mon nom

Bonjour,
Le jour de la signature de mon compromis de vente le notaire s'aperçoit que le terrain avec sa maison que je souhaite acheter, sont en zone protégée (Zone Agricole et Nature). Il demande aux vendeurs une nouvelle clause suspensive pour un certificat d'urbanisme opérationnel pour la reconstruction à l'identique de la maison actuelle en cas de sinistre. Les vendeurs évoquent l'article L111-3 du code de l'urbanisme qui confirme que cette interdiction n'existe pas et ils refusent que la clause demandée par le notaire soit dans le compromis.

J'ai donné procuration de signature à mon notaire mais il ne me donne plus aucune nouvelle et les vendeurs me mettent devant un ultimatum alors que je souhaite signer le compromis mais le notaire fait le "mort".

Que puis je faire ?
Comment contraindre le notaire à signer en mon nom le compromis après mes deux demandes par écrit de le faire.
Puis je changer de notaire sans frais et comment faire ?. Le notaire a déjà 12.000 euros versés, soit 5% du prix de la vente.
Les vendeurs peuvent-ils m'attaquer en justice si je ne signe pas (même si j'ai clairement écrit que je souhaite signer).
Les vendeurs peuvent ils me réclamer les 10% d'indemnités immobilières ?
Merci d'avance pour vos réponses.