Offre d'achat avant le diagnostic

Bonjour,

après visites pour une maison ancienne nous avons fait une offre d'achat au vendeur par lettre, inférieur au prix demandé.
Celle-ci a été accepté fin février.
Après nous être renseigné auprès des banques, nous avons pris rendez-vous avec un notaire pour signer un compromis de vente (nécessaire pour l'obtention d'un prêt immobilier).
Nous venons de recevoir le diagnostic et la "grosse surprise" : amiante, plomb sur certaines boiseries, assainissement à faire ....
Au vu du diagnostic, nous ne voulons plus acheter ce bien (trop de frais à engendrer).

Ma question : est-ce que si on signe le compromis de vente, il est possible de se rétracter sans frais dans le délai imparti (10 jours) ou est-ce qu'il nous est possible de stopper la vente sans signer le compromis ?

Merci d'avance pour votre réponse