Faut-il payer le courtier?

Bonjour,
Nous avons signé une offre de prêt en passant par un courtier pour l’achat d’un terrain plus pour une maison à construire. Cependant, le contrat de construction contenait, après une vérification 17 clauses illicites ou illégales, motif pour lequel nous avons décide de l’annuler. Nous n’avons acheter que le terrain, mais en utilisant exclusivement notre apport personnel. Evidemment, nous ne pourrons plus utiliser l’argent offert par la banque puisque le délai de 4 mois dont on dispose pour l’utiliser s’écoulera bientôt avant qu’on puisse conclure un autre contrat de construction. La banque elle-même aurait du vérifier le contrat de construction avant de nous faire une offre de prêt –et elle ne l’a pas fait. Faut-il dans ces conditions payer les honoraires au courtier ? Merci pour votre réponse.