Transfert de permis

Bonjour,
je suis sur le point de vendre une petite maison de 50 m2 sur un terrain de 2000 m2 pour laquelle j'ai obtenu un permis d'extension de 100 m2. Le notaire veut mettre une clause suspensive dans le compromis "sous réserve de l'obtention du transfert du permis et sous réserve de l'obtention par l'acheteur d'une modification du permis". Si j'accepte ces deux clauses, et dans le cas où l'acheteur ne veut plus acheter ou pour quelque cause que ce soit la vente ne se fait pas, comment vais je récupérer mon permis ?
Merci de m'éclairer.
Sincères salutations.