Taxe d'habitation résidence secondaire

Bonjour,
Je paie la TH à Paris où je suis en location (c'est ma résidence principale). Je paie aussi La TH à Pont sur Yonne pour une maison que j'ai acheté et qui est considérée comme résidence secondaire.
Es ce normal de payer deux fois la TH? Merci