Taxe foncière

Bonjour,
j'ai acheté un appartement en 2004, je viens de constater que je paye la taxe foncière sur un local à usage professionnel, l'ancien propriétaire exerçait une profession libérale dans cette appartement. Personne ne nous a informé qu'il fallait faire une déclaration d'affectation; la personne qui m'a reçu au service des impôts m'a dit que c'est l'acquéreur qui aurait dû faire la démarche. Je viens de recevoir un dégrèvement pour l'année 2010 (-33%), que dois-je faire pour réclamer les années antérieures sachant que cela porte sur des sommes importantes.