Refus de pret non conforme au compromis

Bonjour,
J'ai signé un compromis qui stipule que je dois chercher un prêt d'un certain montant maximum, taux d'intéret maximum, durée maximum, par n'importe quel organisme .
Après avoir laissé passer les 7 jours de retractation possible( le propriétaire étant peu coopératif ), j'ai fait venir ds la future maison un professionnel au départ pour prévoir qq aménagements mais celui-ci m'a pris à part et m'a expliqué que cette maison comportait une malfaçon tres grave au niveau de la chape et qu'une partie de celle-ci était tout simplement en train de s'écrouler . Il m'a ensuite fait un devis des reparations s'élevant à 85000 euros .
Je suis allé voir mon banquier qui m'a fait un refus de prêt ( seul moyen de se tirer de cette affaire apparemment ) mais il a augmenté le montant du prêt du montant des travaux pour justifier le refus .
J'ai peur que ce refus soit considéré comme non conforme au compromis et ne mette pas en echec la clause suspensive et donc que j'ai à payer 5% de frais au moins à ce vendeur malhonnête .
Que dois-je faire sachant que ds le compromis il est bien écrit que tout vice même caché ne saurait remettre la vente en question .
Merci de vos réponses .