Desaccord avec un courtier en Pret

Bonjour,
J'aurais besoin d'aide par rapport à un conflit qui m'oppose à un courtier en prêt immobilier.
Je vous explique ma situation.
En décembre, en vue d'un achat d'une maison, mon conjoint et moi avons fait appel à un courtier en prêt. Après un rendez-vous et plusieurs mails échangés, la proposition qu'il nous avait faite nous paraissait pas satisfaisante: taux élevé et obligation d'ouvrir un PEL et un CEL dans la banque proposée.

Nous avons donc pris rendez-vous avec d'autres banques afin de comparer les offres. Il s'est avéré rapidement que nous avions des propositions beaucoup plus avantageuse ailleurs.

Nous avons donc signé notre offre de prêt et obtenu l'accord avec une autre banque directement et ne sommes donc pas passé par le courtier.

Or aujourd'hui, le courtier nous demande une rémunération de 500 euros une fois que le déblocage des fonds aura lieu!! (la semaine prochaine)

Est-ce légal? Si non, quels textes de lois régissent cela?

Pour précision, un mandat avait été signé mais uniquement par moi et non par mon conjoint, est ce suffisant pour refuser de rémunérer le courtier?

Merci d'avance pour vos réponses!!