TVA immobilière sur un bien rénové?

Bonjour,
J'ai acheté un bien de 3 corps de batiments en Aout 2004
Le temps d'obtenir le permis de construire en janvier 2006, nous avons refait la toiture de l'habitation principale afin de la sécurisé pour les enfants
Ensuite nous avons aménagé l'intérieur
Lorsque nous avons eu le permis de construire en Janvier 2006, nous avons fini les travaux de l'extérieur de l'habitation principale
La maison a été estimée en 2004 à 20000€ et revendu 5 ans et 1 mois plus tard 211500€

Les impots veulent nous faire un redressement sur la TVA
Ils nous disent que nous aurions du rester 5 ans dans les lieux avant de vendre à partir de la date du permis de construire

Toutefois je ne comprends pas pourquoi je dois payer une TVA immobilière puisque nous avons acheté des bâtiments que nous avons rénovés
Je pensais que la TVA immobilière concernait les nouvelles constructions?
Quels sont les règles pour qu'un vieux bâtiment rénové soit considéré par les impots pour une nouvelle construction?

Merci de votre réponse