Annulation vente

Bonjour,
Nous vendons notre appartement. la veille de signature de l'acte final, le notaire des acquéreurs leur indique la présence d'un arrêté d'insalubrité visant deux lots du voisinage. Nous avions déjà connaissance de cette information mais les travaux étaient engagés et la DREAL a déjà émis un CR attestant de la conformité des travaux des deux lots en question (donc problème résolu). Les acquéreurs demandent une baisse de prix significative (malgré l'abrogation proche des arrêtés suite ay passage de la DREAL), je pense que c'est un prétexte pour quitter la vente. Si ces derniers refusent de signer, quelles sont mes chances pour récupérer l'indemnité fixée au compromis ? Quel délai pour une procédure en justice ?
Merci