Comment annuler un contrat de construction

Bonjour,
Mon mari et moi avont assiné un contrat de construction d'une maison individuelle il y a 5 mois; a ce moments la il avez un CDI, mais il été encore en période essai, il et son patron ce sont fache et mon mari à demissioné. Aujourd'hui il travailles en interim et moi je suis à la maison avec nous deux enfants (7 mois et 4 ans), nous avons essayé de demander à notre banque (la banque postale) le pret, mais ils ont dit que ne pouvez même pas nos recevoir pour essayer la demande de pret car nous n'avont pas de CDI; et je sais que la seule maniere pour annuler le contrat serais un refus de pret. Je suis desesperé car le constructeur m'a dit par téléphone que si je ne le donné pas une reponse negative pret il va me demander 10% de montant du contrat; Aidée moi svp.