Refus clôture de compte Caisse Epargne

Bonjour,
Ne savant plus quoi faire, je me permets de vous demander votre aide. Client à la Caisse Epargne depuis plus de 15 ans, j'avais décidé de demandé un crédit pour l'achat de mon premier appartement. Suite à leur refus car l'appartement visé dépassait légèrement les 33% d'endettement et mon conseiller n'a donc même pas tenté de monter le dossier. Néanmoins, j'ai réussi à obtenir mon prêt, acheter l'appartement via une autre banque. J'ai donc pris rendez vous avec le conseiller caisse épargne (un différent à chaque fois sans savoir où est passé l'ancien) afin de clôturer tous les comptes et services chez eux pour tout transférer à ma nouvelle banque.
Juin 2015, lors de mon rendez vous, je signe les papiers, on me demande chéquier et carte bancaire que je remets le jour même. Quelques temps plus tard, je reçois un chèque de banque avec le restant sur mon compte. Je me dis alors que tout est réglé.
Ayant entre temps déménagé, je récupère mon courrier avec environ 1 mois de retard et constate un relevé de compte à 0 de la caisse d'épargne. Dans le doute, j'appelle pour demandé et on me dit que c'est normal et qu'il faut du temps pour que cela soit pris en compte.
A l'heure actuelle, soit décembre 2016, le compte est toujours ouvert. Pire, ils prélèvent des frais sur une carte que je n'ai plus ainsi que des découverts car le compte est vide. J'ai du appeler une dizaine de fois, et à chaque fois on me dit que ce sera réglé, qu'il y a effectivement une erreur. J'ai également envoyé des mails, un courrier et un courrier recommandé resté sans réponse. Au dernier appel, j'ai appelé au siège sociale qui me demande de voir directement à l'agence. L'agence me dit qu'il faut voir avec le directeur d'agence. Après avoir exigé sa ligne directe, je tombe toujours sur son répondeur. J'ai laissé un message il y a plus d'une semaine et toujours pas de réponse.
Je ne sais plus quoi faire. En attendant, je reçois tous les mois un relevé m'indiquant qu'ils me prélèvent des frais.
Merci d'avance.