Débuter les travaux avant signature

Bonjour,
J'ai obtenu un permis de construire pour une habitation et le notaire veut que l'acte de vente soit signé après le recours de 2 mois après l'obtention du permis. Si je commence les travaux (terrassement et réalisation du vide sanitaire avant cette date (fin aout 2018)que peut-il se passer si il y a un recours ou autre.
Cordialement