Problème avec courtier immo

Bonsoir, je suis en litige avec un courtier avec lequel j'ai souscrit un mandat exclusif pour une recherche de prêt immobilier le 8 février. 
Il n'a déposé notre dossier que dans une seule banque car celui ci "nous ne trouverons pas mieux ailleurs au vu des taux pratiqué". J'ai tiqué et est fait moi même une Bonsoir, je suis en litige avec un courtier avec lequel j'ai souscrit un mandat exclusif pour une recherche de prêt immobilier le 8 février. 
Il n'a déposé notre dossier que dans une seule banque car celui ci "nous ne trouverons pas mieux ailleurs au vu des taux pratiqué". J'ai tiqué et est fait moi même une recherche en direct avec une autre banque (auprès de laquelle il n'a pas envoyé notre dossier). J'en avais le droit et je l'en ai tenu informé (comme indiqué au contrat). La banque que j'ai contacté me propose mieux que la proposition qu'il m'a faite. Je vais donc accepter l'offre que j'ai dénichée moi même. Le courtier me dit que si je trouve la banque par moi meme je lui dois quand meme ses honoraires. Le contrat signé est litigieux.

Je ne vois pas pourquoi je devrai lui verser ses honoraires étant donné que j'ai trouvé mieux moi même (et qu'il ne m'a clairement pas encouragé à déposer des dossiers ailleurs et notamment ladite banque).
Pour le moment je n'ai pas refusé ni accepté l'offre qu'il m'a proposé. Je suis toujours dans le délai de réflexion. Je sais que si je refuse sa proposition il va me réclamer ses honoraires. 
Je me demande si je peux faire jouer le délai de rétractation etant donné que le contrat a été signé le 8 fevrier de mon domicile et envoyé par mail ? (Rien d'indiqué sur la possibilité de me rétracter)
Je pense sincèrement être dans mon droit en refusant de lui verser. Il n'a clairement pas fait les recherches en vu de m'obtenir le meilleur financement (cerise sur le gateau: sa femme et associée est une ex directrice de la banque auprès de laquelle il a deposé notre dossier...).
Avant de partir en litige, je voudrai être persuadée de mon bon droit en demandant conseil à un avocat. Je ne sais pas quel type d'avocat contacter : avocat en droit immo, droit de la consommation, droit administratif ? 
Merci d'avance pour votre aide. Qu'en pensez-vous, suis je dans mon bon droit?