Refus du notaire de rompre un compromis caduque

Bonjour,

Suite au compromis de signé pour la vente de mon appartement le 27.12.19,je n ai plus eu de nouvelles de mon notaire ni de l acquereur de mon bien jusqu'au au 2 juin 2020 où je décide de contacter l etude notariale pour leur demander les avancees de mon dossier.
Le lendemain,je reçois un mail m informant qu aucune offre de prêt ne leur avait été transmise au jour dit.
Le 17 juin ,après avoir joind mon notaire,cette offre de prêt venait juste d etre réceptionné par leurs soins,et nous fixons la date de 7 juillet pour conclure cette vente....hourra!
Hors,après lecture des conditions suspensives, il est formellement mentionné (en gras) qu elle aurait du intervenir dans un délai de 6 semaines à compter de la date de signature du compromis,soit au plus tard mi-février 2020.(1 mois avant le confinement)
Aucune prorogation n ayant été faite ,et concluant que la vente est caduque,j informe mon notaire mon intention de rompre mon compromis a cause de la trop longue obtention du prêt,en lui citant les conditions suspensives relatives.
Celui-ci ne veut rien savoir et m ordonne d etre présente le jour de la signature de l acte ,sous peine de devoir dresser un procès-verbal de carence ,et m infliger une pénalité de 10%
Quels sont mes recours car il est hors de question de devoir signer un document qui n est pas au normes?
Merci d avance de m orienter dans le respect de mes droits.
Bonne journée