Conflit avec le propriétaire après signature de compromis

Bonjour,
Après la signature du compromis d'achat d'un appartement. J'ai constaté grâce notamment aux différents corps de métier venu estimé (devis) les travaux de rénovation à effectuer pour le rendre habitable. Que le sol de l'appartement contenait des dalles amiantées.
Selon le diagnostic (amiante) réalisé un an auparavant, il ne décelait qu'une partie bien identifiée (environ 2m2 à l'intérieur d'un placard).
J'ai réalisé à mes frais un nouveau diagnostic qui à dévoiler une surface bien plus grande. De 2m2 nous sommes passés à 55m2 (65% de la surface total de l'appartement) ! Les dalles sont recouvertes d'un vieux et usé PVC (celui d'origine 1975).Je suis consterné et je me sens complètement lésé par cette nouvelle. J'en ai fait part au propriétaire et proposé une négociation (baisse du prix de vente) à la hauteur de l'assainissement de la partie amiantée. Malheureusement, le propriétaire ne veut rien savoir.
Je ne pense pas me présenter ni signé l'acte de vente même sous mise en demeure. Que peut-il m'arriver après ? Comment puis-je défendre mes droits ?
Pensez-vous que je pourrais récupérer intégralement le montant bloqué chez le notaire (10% du prix) ?
En vous remerciant par avance.