Problème avec les courtiers

Bonjour,
nous avons utilisé un courtier pour un prêt immobilier, or il se trouve qu'il nous réclame son du alors que pour notre part il n'a pas fini de remplir son contrat.
En effet, le prêt débute en juin , et notre assurance du prêt a été commencé en janvier. ( Je l'en avais déja informé et rien n'a été fait)
Je lui est expliqué par téléphone qu'on lui paierai lorsque tout sera réglé ( On est devenu prudent car on a eu quelques soucis à propos du contrat de construction).
Il vient alors de nous menacer de nous assigné en justice en précisant qu'il prendrait 10 pourcent d'intérêt par semaine.
At-il le droit ? Et si on est obligé de payé que va t-il se passer pour les sommes de notre assurance qui nous ont été prélevés?