Accord (signature) directeur d'agence puis refus de derniere min

Bonjour.
J'ai 28 ans, je suis marié , 1 enfant de bientot 2 ans et un autre en route.
Je suis propriétaire d'une maison de 60m2 depuis pile poil 1 ans. ( Signature chez le notaire le 13/11/2015, triste date).
Jusqu'ici tout va bien.

Maison 170 000 euros
Travaux estimés a 25 000 euros.
Apport 17 000 euros frais de courtier inclus.

Voici mon problème, je vais essayer de faire court:

En juin 2015, je signe la promesse de vente.
Je depose en juillet un dossier chez un courtier (Cafpi), un autre à ma banque (SG).

En septembre j'obtient un accord puis l'offre de pret de la part de ma banque, genial, au taux de 3,3%, beaucoup trop élevé au vu des taux à cette période mais je ne refuse pas, j'attend les reponses du courtier.

Le courtier tarde et me dit que les banques sont surchargées, ce que je peux comprendre, mais j'ai une date limite a respecter donc je leur met un peu la pression, gentillement.

On arrive bientot a fin septembre, l'offre de ma banque va bientot expirer, le courtier me demande de lui faire confiance car il à quelque chose de mieux que ma banque à me proposer

Le 25 septembre, je signe une offre de principe chez le courtier, pret + travaux de 204 000 euros a 2,70%, parfait ! Je laisse donc logiquement l'offre de ma banque passer.

Je precise que c'est une vieille maison qui demande OBLIGATOIREMENT des travaux de renovation.

Tout va bien jusqu'ici .

J'ai RDV à la banque credit Agricole qui m'a faite cette offre, je signe le 01 Octobre tous les documents. Je repart fierement avec l'accord signé par le directeur d'agence, et on me repete 100 fois que l'accord est definitif.

La banque me rappelle quelques jours plus tard pour me dire que la caution (garantie) n'accepte pas de financer les travaux, car le financement depasse la valeur de la maison. Elle accepte cependant de financer la maison seule, a un taux un peu inferieur, 2,55%.

Je leur fait part de mon mecontentement, que faire d'une maison si on n'a pas les moyens de faire les travaux necessaires pour y vivre ? La conseillère me dit qu'elle me fera un pret travaux a part, sure d'elle.

Je n'ai pas le choix, je suis énérvé mais j'accepte.

Quelques jours plus tard, la conseillere m'appelle pour signer l'offre de pret travaux, 25000 euros sur 25 ans, 2,55%. Trés satisfait, j'accepte, et j'ai la signature du directeur.

Encore quelques jours plus tard, rebellote, la caution refuse pour le meme motif que le precedent.

Je me retrouve avec une maison a 170 000 euros, sans avoir les moyens d'y vivre.

J'ai du emprunter de l'argent de tous les cotés, faire 2 prets a une autre banque et donc me surendetter pour vivre dans cette maison.

Aujourd'hui, au lieu de 1070 euros par mois pour les credit maison et travaux, je suis a 1600 euros de credit, beaucoup trop pour moi.

Quels sont les recours?

Merci infiniement d'avoir pris le temps de lire.