Clause suspensive et avance sur frais notaire

Bonjour,

Je suis sur le point de signer un compromis de vente pour l'achat d'un bien immobilier. Une clause suspensive d'obtention de la part de la mairie d'une autorisation de changement de destination (local commercial en habitat) figurera au compromis.
Lors du compromis je vais devoir payer une avance sur frais au notaire.
Celui-ci me dit que même si la signature de l'acte n'a finalement pas lieu du fait de la non obtention de l'autorisation par la mairie, cette avance sur frais ne me sera pas rendue (environ 500 euros).
J'ai lu sur un site que ce n'est pas tout à fait légal. J'aimerais avoir des précisions à ce sujet si certains peuvent m'en apporter. Si ce n'est pas tout à fait légal comment puis-je faire en sortes de ne pas payer cette avance sur frais? Puis-je demander à ce qu'une clause de remboursement de ces frais en cas de non aboutissement de ma demande à la mairie donc d'annulation de la vente figure au compromis par exemple ?

Merci par avance pour vos éclairages.