Clause suspensive permis de construire

Bonjour,

J'aurai besoin de vos avis. En effet, je souhaite signer un compromis de vente pour l'achat d'une grange qui n'a jamais été habité (dans vieux village, pas en milieu rural). Le PLU est positif. Rien ne "semble" contrarier l'obtention d'un permis de construire. Mais mon notaire ne souhaite pas que je fasse un compromis sans la clause suspensive de l'obtention du permis de construire, m'indiquant qu'il y a toujours un risque.
Le bien m'intéressant, je suis en porte à faux car les acheteurs m'obligent à passer par un architecte pour être sûr que le permis sera accordé et rapidement, ce qui représente un surcoût pour moi. Il y a une offre inférieure à la mienne pour le même bien qui ne stipule pas cette clause. La pression est sur moi.
Que me conseillez-vous? Prendre un petit risque ou ne rien lâcher. Pas facile de répondre.
Y a-t-il un compromis possible pour contenter les 2 parties?

Merci d'avance.

SERGIO