Problème pénalités de remboursement négociées

Bonjour,
nous avons pris un courtier pour négocier notre prêt d'acquisition de résidence principale. Je vendais mon appartement, et nous allions contracter un prêt avec mon mari pour acheter une maison.
Le courtier me propose le CA CE comme banque, c'est déjà ma banque actuelle.
Il me dit que le CA CE est le mieux placé en ce moment. Donc, il nous négocie un taux fixe intéressant et aussi des pénalités de remboursement du capital restant dû de mon ancien prêt, nulles (suite à vente de mon appart).
Et il me dit qu'en plus je n'ai pas besoin de changer de banque.
C'est ce qu'il a négocié avec le CA CE de Villefranche.
Nous voilà donc d'accord avec cette proposition, et le courtier me fait signer un mandat avec un coût de 1100€. Cela fait une belle somme mais avec des pénalités de remboursement annulées pour l'ancien prêt, cela valait le coup.
Là-dessus les conditions ne sont pas spécifiées. Si j'avais su, je l'aurais fais noter mais j'ai fait confiance.

Lors du premier rdv à mon agence qui va s'occuper de notre dossier, le courtier est présent, et vient de la part de la dame du crédit agricole de villefranche (spécialisée crédit habitation).
Tout se passe bien, et nous parlons de ces pénalités nulles, donc rien n'est affiché sur le plan de financement.
Donc, lorsque j'ai voulu rembourser mon Capital restant dû suite à la vente de l'appart, mon agence m'annonce qu'il y a des pénalités . Je dis que ce n'est pas normal, car pas négocié comme ça. On me dit donc d'attendre et de ne pas payer le CRD. L'agence fait une demande et obtient 500€ de réduction mais c'est le maximum. Il me resterait environ 600€ à ma charge.

Aujourdhui le courtier me dit qu'il essaie de contacter la personne avec qui il a négocié mais que ce n'est pas elle qui décide, et que c'est comme ça.
Donc je lui dit que je paierais son mandat -600€ puisque ce n'était pas prévu comme ça. Vu que ce n'est pas à moi d'assumer cela. Il me dit que ça ira en contantieux. Je lui dit que c'est un peu facile de ne pas assumer. et il me dit qu'il ne m'avait jamais dit qu'on aurait obligatoirement la réduction totale!! ce qui est totalement faux. Il ose me mentir et retourner sa veste.

Quelqu'un pourrait m'aider ? Que dois faire ?
De plus, vu que cela dure depuis 3 semaines , j'ai eu un nouveau prélèvement de mon prêt (puisque pas remboursé) avec 160€ d'intérêt ! que je n'aurai pas payé si j'avais pu rembourser mon crédit il y a 3 semaines .
Quel recours puis je avoir? Si rien ne peut être fait, je n'ai pas d'autre choix que de payer les 1100€ de courtier? Ou alors est-ce que je peux écrire un courrier ?
Merci pour votre aide