Pas de résidence secondaire pourtant sur la taxe d'habitation!

Bonjour,
J'ai déménagé le 22 Janvier 2014 de l'appartement A pour cause de mutation de logement car il vont détruire le bâtiment pour emménager dans l'appart B .
Donc j'ai rendu les clés de l'appartement A le 29 Janvier 2014 .
Les impôts me demande de payer les deux taxes d'habitation!
Pour la cas A je comprends puisqu'au 1er Janvier je m'y trouvais, mais pour le cas B je n'y étais pas au 1er janvier 2014 et ils me l'on mise en résidence secondaire or j'y habitais seulement depuis le 22 Janvier 2014, pour la remise des clés de l'appartement A la technicienne n'étais pas disponible avant cette date du 29 Janvier 2014 car c'était une tour entière de 16 étages qu'elle devait gérer pour les mutation.
Par contre entre le 22 et le 29 Janviers 2014 je me trouvais dans l'appartement B. Et n'allais pas dans l'appartement A car tout avait été pris en compte par le bailleur.
Que faire?? " Je précise je suis locataire" J'ai déjà payé la TH 2014 de l'appartement A C'est pour celle de 2015 qu'il me demande les 2 TH donc incompréhensible car je n'ai qu'n seule appartement!