Taxe d'habitation pour chambres d'hôtes

Bonjour,

J'ai un petit bâtiment en annexe (derrière ma maison) ou j'ai 2 chambres que je loue en "chambres d'hôtes"
Pour cela on me demande de payer environ 500€ supplémentaire de taxe d'habitation, alors que ce n'est pas un vrai logement équipé.
J'ai été voir aux impôts qui ne savent pas vraiment m'expliquer, bref il faut que je paye!!!
Quelqu'un pourrait-il m'expliquer?

Merci d'avance

Chris