Surcout frais de notaire

Bonjour,

Je fais construire une maison et le constructeur m'a fait signer un document intitulé "plan de financement" dans lequel il provisionne les frais de notaire pour l'achat du terrain à 2 162.00 euros. Le banquier s'est basé sur les documents du constructeur pour le financement. Le constructeur nous avait parlé de frais de Notaire reduits suite à des accords avec la Commune. Or, à la signature Notaire, il s'avère que les frais de Notaire sont de
6 800.00 euros au lieu des 2 162.00 euros provisionnés (différence importante sur le budget !).
Le constructeur reconnait l'erreur mais évoque le caractère non contractuel du document "plan de financement" qu'il nous a fait signer. il explique qu'il n'a en fait provisionné que les débours et émoluments d'acte. Aucun des documents fournis ne mentionne les frais de notaire.
Ais-je un recours ?
Le constructeur est-il tenu de prendre la différence à sa charge ?
Je vous remercie par avance pour votre réponse