Se rétracter après offre d'achat?

Bonjour, j'ai fait une offre d'achat il y a un mois qui a été acceptée. Depuis par contre, les vendeurs (il s'agit d'une indivision) repoussent en permanence la signature du compromis de vente, demandant des modifications du compromis, des précisions concernant le plan de financement, une assurance du notaire comme quoi le délai avant la vente ne dépassera pas les 3 mois. Or il s'agit d'un achat que je fais suite à un rachat de soulte lors d'un divorce. Le notaire m'a assuré pouvoir juridiquement signer tout de même la vente avant l'homologation du divorce, en stipulant le fait que le bien sera à mon nom propre et n'entrera pas dans la communauté.
Toutes ces démarches prenant du temps, et par ailleurs la soulte ne me rapportant pas autant que j'escomptais, je crois que même si le crédit pour l'achat devrait passer, je ne pourrai pas faire une 2ème crédit pour les travaux estimés à 100 000€. Or cette maison ne peut être habitée en l'état (isolation, chauffage, électricité à faire, pas de cuisine etc...).
Comment puis-je me rétracter à ce stade? Est-ce qu'une simulation de prêt bancaire, en invoquant la nécessité de travaux ensuite, me permettrait de faire marche arrière sans pénalités?
Merci.