Remboursement de prêt immobilier

Bonjour,
Nous avons contracté un prêt immobilier au Crédit Mutuel en 2007 pour l'achat de notre résidence principale. Le directeur de l'agence nous avait alors établi une attestation indiquant qu'en cas de remboursement anticipé, aucun frais de remboursement anticipé ne serait dû.
Les taux des prêts immobiliers ayant fortement diminués, nous avons demandé au préalable à notre banque s'il pouvait s'aligner sur les nouveaux taux (nous avions un taux de 3,85 %).
Nous avons été reçu par le nouveau directeur de la banque qui nous a dit que leur banque ne négociait pas de nouveau taux alors que nous avions une proposition de rachat de prêt à la concurrence.
Nous avons donc continué nos démarches de rachat et lors du remboursement anticipé, le banquier a refusé de prendre en compte l'attestation nous accusant même d'avoir établi un faux document (comme par hasard, il n'y a aucun double dans notre dossier à la banque) et nous a prélevé les frais.
Nous l'avons appelé, pris rendez-vous et présenté le document en mains propres : il a dit qu'il verrait ce qu'il pourrait faire. Cela fait un mois et demi et rien ne nous a été remboursé.
Mon mari a pris rendez-vous avec lui vendredi et il lui demande de lui laisser le document...
Quel sont les arguments à donner et quels sont nos droits face à une telle situation ?
Merci par avance