Courtier et banque nous sommes pris en otage

Bonjour,

Nous avons fait des simulations de crédit immo dans plusieurs banques AVANT de signer un compromis afin de savoir si notre projet était réalisable et si les banques nous suivaient. Dans certaines le projet passé et dans d'autres non.
Après avoir signé le compromis de vente (puisque nous savions que nous pouvions avoir le crédit), je suis allée voir une courtière en lui fournissant (à sa demande) la simulation d'une banque qui nous intéressait car elle travaille avec cette banque.
Nous avions un taux fixe nominal à 4.75 % sur 20 ans.
Grace à l'intervention du courtier, le conseiller que nous avions vu lors de la simulation nous a appliqué le taux prescripteur de 4.55 % toujours sur 20 ans.
Oui mais voilà, le courtier m'informe qu'il devra nous compter 0.5 % du montant de notre demande de prêt comme commisssion car le banquier ne veut pas lui donner sa part de commisssion (comme il est normalement convenu)du fait que nous sommes allés le voir avant que ce courtier intervienne (mais nous n'avions pas le même taux !).
Maintenant, nous nous retrouvons en "otage" entre le courtier qui veut nous compter des honoraires (qu'en principe la banque lui verse) et le banquier qui nous dit que nous n'avons rien signé avec ce courtier et que nous pouvons passer outre son intervention !!
Je trouve cela pas très "honnête" et franchement je ne sais plus quoi faire.
Quelles sont mes droits ?
Puis je réellement passer outre le courtier alors qu' il a pourtant fait son travail puisque grace à lui nous avons obtenu un meilleur taux que celui lors de notre simulation ?
Y a t-il un moyen de faire en sorte que le banquier prenne en charge les honoraires du courtier (puisqu'il est intervenu en notre faveur) ?
Merci par avance pour votre réponse