Conditions suspensives.....pour le vendeur

Bonjour,

Je vous explique mon problème:

Je suis en passe d'acheter un terrain pour faire construire (en cours de permis d'aménager).
J'ai mis en vente ma maison.

Comme l'acheteur peut poser des conditions suspensives (prêt, vente maison, etc), je pensais pouvoir faire de même en temps que vendeur.
En effet, si je signe un compromis de vente pour ma maison alors que le permis d'aménager n'est pas délivré, le permis de construire pas déposé et mon prêt pas obtenu, je prends des risques.

Mon notaire me dit qu'il est impossible pour moi en tant que vendeur de mettre des conditions suspensives dans le compromis de vente de ma maison.

Imaginons que je signe un compromis et mon permis de construire n'est pas autorisé. Je suis à la rue....
Et si je ne signe pas un compromis, ma banque de me prêtera pas pour mon projet.

C'est ubuesque !
Quelqu'un a t-il des idées .

Merci.

PS: je ne souhaite pas faire un prêt relais pour le coût et les difficultés à emprunter la somme voulue.