Quid des frais suite à compromis caduque ?

Bonjour, j'ai signé un compromis avec une clause suspensive liée à une DP de travaux. Hors les services d'urbanisme ont délivré une opposition qui rend par conséquent caduque la vente. Le notaire du vendeur m'a envoyé un document de résiliation à l'amiable mais je ne suis pas d'accord car je souhaite uniquement faire jouer la clause car je n'ai rien conclu avec le vendeur et je souhaiterais me faire rembourser les frais pour provisions que j'ai payé lors de la signature du compromis.
Hors lorsque j'appelle le notaire, on me rétorque que la rédaction du compromis et les frais divers restent à ma charge même si la vente est annulée par la faute du vendeur qui ne peut pas faire régulariser son bien. Est ce bien normal que je doivent supporter les frais alors que je ne me suis pas rétracter et que si la vente est rendue caduque, ce n'est pas de mon fait et je ne comprends pourquoi je dois en subir les conséquences.
Existe t'il une possibilité de faire pression au notaire pour qu'il me rembourse ? Que dit la loi sur ce genre de situation et puis je avoir raison si je demande réparation en justice ? Merci de votre aide.