Critère de classement en résidence secondaire ou principale

Bonjour,

Je suis marié sous le régime de la séparation de bien (1969).
En 2000, séparation de fait : je quitte le domicile conjugal pour un appartement attenant aux bureaux de mon entreprise, (la SCI propriétaire des locaux m'appartient).
Ma femme vit au domicile conjugal dont elle est propriétaire.
Cette séparation n'a jamais fait l'objet de déclaration officielle (accord tacite, pas de litige).
En 2009, liquidation de l'entreprise, je déménage afin de relouer plus facilement ses locaux.
Et je loue personnellement une petite maison, et vis de ma retraite.

L'avis de Taxe Habitation pour 2011 est de 959€ - je paye!
Pour 2012, l'avis n'est plus que de 443€.

Je questionne les services sur cette différence. Ils me fournissent l'explication suivante :
- En 2011, il a eu une déclaration de revenus commune, à l'adresse de mon épouse, de là découle une résidence principale et une résidence secondaire.
- En 2012, il y a eu 2 déclarations, donc 2 résidences principales.
- La différence de 500€ est une taxe additionnelle pour les résidences secondaires.

Personnellement, je ne vois pas la différence d'utilisation de ma maison entre 2011 et 2012. (ma résidence principale dans les 2 cas)

QUESTIONS :
- Les services fiscaux peuvent ils décider de la nature fiscale (principale/secondaire) d'une habitation ?
- Puis-je récupérer les 500 € payés en trop ? Et comment ?
- La séparation de fait (non officielle sauf attestations) plus la séparation de biens (officielle par contrat de mariage) me donnent elles un statut ?

N.B. : Si besoin, je peux apporter les attestations de mon épouse et d'autres personnes.