Encaissement commission courtier sans prêt

Bonjour,
Nous avons fait appel à un courtier pour obtenir un pret immobilier, il nous avait trouvé un pret interessant fin juillet et nous avons fait le dossier auprès d une banque. A notre retour de vacances nous ne pouvions plus joindre personne ni banque ni courtier après deux semaines et une prolongation de la promesse de vente auprès du notaire le courtier nous a proposé un pret à 5.85% par téléphone et étant très flou sur les assurances, nous lui avons expliqué que nous allions renoncé à l'achat de l'appart car fin juillet le taux était de 5% et en octobre 5.85% nos mensualités seraient trop lourdes. Nous nous sommes rendus compte hier qu'il avait encaissé sa commission. Que pouvons-nous faire maintenant?