J'ai déménagé mon ex banque refuse de cloture

Bonjour,
j'ai déménagé d'Auvergne en Alsace, j'ai donc ouvert un compte auprès de la caisse d'epargne d'alsace, après quelques semaines, j'ai adresse un courrier en LR avec AC, à l'agence de la même banque d'Auvergne, j'y ai joint ma CB (coupée) et le chéquier ce référant à ce compte, plus un chèque représentant le découvert de l'époque sur ce compte, en demandant la cloture du compte. Après 3 semaines sans nouvelle, j'ai contacté l'agence d'auvergne par téléphone, il s'avère que non seulement il ne cloture pas le cpte courant, mais entre temps, ils ont accepter de règler des virts, ce qui porte mon découvert à + de 900 €, que je dois combler. cette agence peut elle refusé de clôturer ce compte courant, si je règle le découvert. quel est mon recours, car à ce jour de nouveaux virt peuvent être acceptés par cette agence, qui ne se gène pas pour me facturer les frais bancaires, sur un compte qui n'est plus approvisionné depuis septembre 2010
merci de votre aide