Conséquences d'un refus de prêt de notre part: pénalités?

Bonjour,
Nous avons signé un contrat avec un constructeur pour un petit pavillon, avec un prêt d'accession sociale (je suis en recherche d'emploi actuellement) du crédit foncier (ils travaillent en collaboration tous les 2)
Cette signature a eu lieu au mois de mai, le permis de construire a été déposé et accepté, et nous avons reçu seulement cette semaine l'offre de prêt du crédit foncier, qui n'est pas à un taux avantageux, et qui dépasse largement les estimations faites par la commerciale de la société de construction. Autrement dit, avec les frais qu'engendre la construction d'une maison, + les à côtés (impôts taxes et une 2eme voiture...) ça ne passe plus.
Nous avons été assez déçu de cette experience (quelques défauts passés sous silence que nous avons découverts plus tard, difficultés pour ne serait-ce que bouger une cloison sur le plan...) et nous souhaiterions faire machine arrière, en n'acceptant pas ce prêt.
Quelles sont les conséquences d'un refus de notre part? Le constructeur va-t-il encaisser le chèque de 4000€ de "caution"?
Merci d'avance de m'éclairer