Prélvmt assurance crédit immobilier

Bonjour,
Nous avions un projet de construction pour lequel le prêt immobilier avait été accordé en janvier 2008.
Entre temps, ce projet a été annulé suite à un long retard de la part du lotisseur et de nouvelles lois de copropriétés.
Pour cette construction, aucun compromis n'avait été signé et aucun déblocage de prêt n'avait été effectué.
Hors, le mois dernier notre banque nous a retiré en 1 fois 6 mois d'assurance crédit immobilier que le banquier refuse de nous rembourser. Il n'était stipulé nulle part sur le contrat de crédit que l'assurance "courait" à partir de l'acceptation du prêt. Aujourd'hui, nous sommes sur un nouveau projet, les taux ont bien augmenté, notre apport est diminué de cette somme d'assurance et notre banquier ne veut faire aucun effort. Est ce que quelqu'un a déjà rencontré ce problème? quel recours peut-on espérer?
Merci pour vos réponses.