Taxe aménagement sur bâti agricole

Bonjour,
J'envisage de rénover une maison atennante à une grange classée en agricole.
Je souhaite gagner quelques mètres carrés dans la grange et j'apprends que dans ces conditions je vais devoir payer la taxe amenagement sur l'ensemble du bâti grange + maison soit près de 9000euros.

J'en reste assis et cela remet en jeu tout le projet, quelles solutions sont envisageables ?
Je trouve logique de payer la TA sur la partie habitation mais pas sur les m2 restant en grange...

Cordialement