Quelle obligation de payer le courtier ?

Bonjour,

J'ai rencontré un courtier pour un prêt immobilier.
J'ai signé un mandat avec lui. (grosse erreur)

Au bout de 3 semaines il m'appelle et me dit que tout les banques ont répondu par la négative (car moi et ma compagne sommes en CDD) sauf ma banque qui est OK pour nous suivre.

Or j'avais contacté moi même ma banque dès le début du projet et demandé ce prêt qui avait été accepté (accord de principe et simulation papier) avant même de rencontrer le courtier.

Maintenant il revendique que je dois passer par lui et le payer si je fais ce prêt .
Ai je cette obligation de la payer ? quel risque je prend à ne pas le payer ?

En sachant que j'ai revu plusieurs ma banque durant le projet pour le monter moi même ce dossier.
Le courtier n'a rien fait puisque j'avais déjà l'accord de la banque avant de le rencontrer.
L'offre de prêt est totalement différente au final qu'au départ. (car nous avons eu 3 RDV dans notre banque)

Bref jai une boule au ventre de devoir payer ce monsieur "qui n'a rien fait" à part envoyé des documents PDF aux banques.

Merci pour vos réponses.

PS : je peux poster ici le mandat au besoin si vous voulez voire les clauses.