Rompre son contrat de constuction

Bonjour,

Ma compagne et moi même sommes allés un peu vite en besogne et avons signé un contrat de construction. Nous sommes également passés chez le notaire pour le compromis de vente d'un terrain.
Seulement, après mure réflexion, nous constatons que le constructeur dépasse notre budget et que la prestation n'est pas celle attendue.
De plus, nous avons tout de même fait l'impasse sur nombre de nos desiderata et le budget est tout de même surpassé. Nous entendons toujours des phrases telles que " non mais ça on l'a dessiné mais vous le ferez après en direct avec les artisans" etc etc Exemple : le cellier est dessiné, et après dépôt du permis de construire, nous apprenons que ce qui a été dessiné c'est juste le potentiel emplacement des murs mais que ce n'est pas compris dans le coût de construction.

Par conséquent, nous avons envisagé la possibilité de peut être, trouver mieux ailleurs.

Cependant, le permis de construire a déjà été autorisé, le panneau est sur le terrain mais le chantier n'a pas débuté.

Ma question : Comment puis je faire pour changer de constructeur en gardant néanmoins le terrain ?

En effet, si la banque refuse de me faire un crédit, mon contrat de construction devient caduc mais cela s'étendra également à l'achat de terrain.

Si quelqu'un a de bonnes astuces pour choisir le constructeur qui s'attachera à rester en conformité avec nos envies et surtout notre budget, je suis preneur.

Je remercie par avance les personnes qui prendront le temps de répondre à mes interrogations.