Impossible de transférer mes livrets vers une autre banque ! (Caisse d'Epargne)

Bonjour,
Ma femme et moi possédons nos comptes courant ainsi que nos livrets "classiques" (A et LEP) à la Caisse d'Epargne. Suite à un déménagement dans une autre maison + achat immobilier, nous avons changé de banque.
Et c'est le début des difficultés. Depuis le mois de janvier 2020 nous essayons de faire transférer nos livrets vers notre nouvelle banque mais la caisse d'Epargne fait la sourde oreille. Nous avions d'abord donné Mandat à notre nouvelle banque pour faire ces transferts mais rien n'a été fait. Nous avons également fait la demande par courrier (2 recommandés A/R) et idem : aucune réponse !
Nous avons contacté de nombreuses fois l'agence : la directrice refuse de nous prendre en communication et l'agent d’accueil n'a aucune trace de nos démarches dans notre dossier ! même pas les courriers ! Nous n'avons plus de conseiller depuis que nous avons entamé les démarches ... Nos mails restent également sans réponse ...
Nous n'avons aucun litige avec eux, aucun crédit à rembourser, rien ... Et en attendant mes frais de gestions sont bien prélevés tous les mois.

Pour le moment nous n'avons même pas encore essayer de transférer les comptes, on attendait d'être certain de ne plus rien avoir comme opérations récurrentes ...

Que puis-je faire ? Quelles démarches puis-je entamer ? Ai-je des recours possible ?
Je me doute que lorsque l'on souhaite quitter une banque, on est pas une priorité, mais à ce point c'est vraiment affligeant ...