Intérêts intercalaires

Bonjour,
concernant une vente en VEFA, le promoteur m'a accordé le paiement suivant : 5% à la signature de l'acte et le reste à la livraison des clés (fin 2017).
J'avais bien stipulé à ma banque ainsi qu'au notaire que je règlererais les frais de notaire par moi-même.
Le notaire a été payé deux fois : une fois par moi et l'autre par ma banque.
Il me l'a signalé le jour de la signature et a remboursé cette somme sur mon compte.
Cela a donc été considéré comme un "déblocage de fonds" par ma banque et engendre forcément à ce jour des intérêts intercalaires ; alors même que j'avais bien précisé que je payerais les frais de notaire.
J'ai demandé à ma banque s'ils pouvaient récupérer cette somme et me rembourser ces intérêts mais ils ne peuvent apparemment rien faire. Ils me conseillent " de revenir vers eux lorsque je finaliserai mon achat immobilier et que je commencerai à amortir l'emprunt convenu. Ils pourront alors revoir ces différents prélèvements et faire une demande de prise en charge".

Ont-ils le droit de faire cela? Ai-je un quelconque recours? J'ai de sérieux doutes quant au fait qu'ils me remboursent un jour...

Merci pour votre aide.