Dénonciation de crédit, aucun impayés.

Bonjour,
J'ai cherché sur ce forum sans avoir trouvé de réponse à ma question, et je me retrouve avec mon conjoint face à une situation disons... Inédite pour nous !

Voilà, je reprends les choses depuis le début :
Mon conjoint a acheté sa maison en 2007-2008, il avait conclu deux prêts, l'un à taux zéro auprès de la BTP, et un autre auprès de la BNP, tout a été payé jusque là en temps et en heure. Nous nous sommes rencontrés en 2013 et avons emménagé ensemble en 2014, lorsque je suis arrivée, je me suis rendue compte que le prêt qui avait été engagé avait un fort taux, et qu'il était était peut-être temps de le renégocier.
Nous avons donc démarché un courtier qui nous a fait de meilleurs propositions, dont une, au crédit maritime (affilié Banque populaire).
Ils nous proposent un taux intéressant seulement, et seulement SI, nous passons la totalité des épargnes et comptes chez eux. ils nous font une offre intéressante aussi quant aux frais face à ce qu'on avait, donc tout bénef, nous avons dits oui, revus les contrats ensemble et avons tout passé chez eux.
Pendant la première année, tout se passe bien, au point même où je passe moi-même mon compte professionnel (je suis chef d'entreprise - commerçante) chez eux suite à une jolie proposition de leur part en 2016.
En un an, tout se passe bien, seulement voilà, fin 2017, mon chiffre d'affaires baisse considérablement, mais tous les frais pro passent, je demande une autorisation de découvert par peur d'en avoir besoin de 200€, et là c'est le drame, ils me prélèvent 600€ de frais tous les ans juste pour "avoir le droit à un découvert" que soit-disant je ne peux plus enlever, ces frais me mettent donc à découvert, j'ai une toute petite entreprise qui me suffit à peine, de là, je ne me fait plus un seul salaire pendant presque un an, ils me prélèvent des frais même quand le compte remonte considérablement. Dès Mars 2019, je les quitte dès que mon chiffre d'affaires me le permet pour changer de banque et depuis tout va mieux.
L'histoire ne s'arrête pas là, ils m'envoient encore une facture de près de 60€ en juin dernier pour des frais supplémentaires qu'ils ne m'ont jamais expliqué, et sans aucun énoncé clair "ah bah, c'est peut-être des frais pour la clôture" voilà tout ce que j'ai eu comme explication. je paie tout dans l'heure.
Seulement entre temps, dès que mes difficultés pro ont commencé, ils nous taclent aussi sur le compte joint, qui lui se porte bien, aucun impayés, nous gagnons suffisamment notre vie pour ne pas s'en plaindre à deux. Les frais doublent en 2018 en janvier.
Après ce qu'ils m'ont fait, nous décidons de quitter cette banque, de retirer nos comptes épargnes et d'aller au crédit mutuel. Donc en Août dernier, nous signons les mobilités bancaires.
Le nouveau conseiller (que je connais bien ouf heureusement) m'appelle et me dit que les comptes épargnes arrivent, mais que la mobilité bancaire est refusée par le crédit maritime sans raison justifiée.
J'appelle donc le C.Maritime et leur demande des explications, ils ne m'en fournissent pas et me disent "d'attendre un prochain courrier qui nous expliquera".
En effet, le courrier était salé, REFUS DE MOBILITE bancaire, avec en phrase explicative :
Les chèques et virements sur ce compte n'ont pas pu être adressé favorablement à la banque demandeuse.

Nous ne savons toujours pas comment prendre cette phrase, sommes-nous des mauvais payeurs ? (je rappelle aucun impayés de notre part ! Jamais !) Que se passe-t-il ?
Ils ne nous fournissent aucune explication, je commence donc les démarches pour tout faire changer de banque moi-même.
Et là, ce matin, un appel, ils veulent faire une "dénonciation de crédit", alors que nous avons toujours payé, ils nous rappellent qu'on avait un "engagement moral" de faire passer toutes les épargnes et comptes chez eux, et donc d'y rester tant que nous avions un prêt chez eux. Au delà de l'amabilité très limite de la dame au téléphone, il ne faisait mention sur le contrat d'aucun engagement de rester. Et qui serait resté après tout cela chez eux après tout ?

Comment faire ? Nous avons toujours payé, ils refusent de prélever sur un autre compte que chez eux, mais si on veut garder le compte chez eux il faut que un des salaires y reste domicilié. On ne s'attendait pas à ça... Je pensais que les dénonciations de crédit était faite pour les mauvais payeurs, or ce n'est pas notre cas...

J'espère avoir été claire pour me répondre, dois-je appeler l'AFUB ? Est-ce légal leur façon de procéder ?
Merci à tous ceux qui pourront m'éclairer. Je suis un peu paumée dans cette affaire, je vais fournir l'offre de prêt et le contrat à la nouvelle banque pour qu'ils me le rachètent, mais y suis-je vraiment obligé ? n'y a-t-il rien à faire ?

Laure