Comment avoir des preuves qu'un bâtiment est à destination d'habitation ?

Bonjour,

J'ai trouvé une remise de ferme à vendre. Elle est encore debout contrairement à la ferme qui est en ruine.
Je souhaiterais rénover cette remise sauf que le PLU précise qu'il est nécessaire de changer la destination du bien pour le rénover et que c'est impossible en zone naturelle.

Le problème est que cette remise de ferme a bien été habitée suite à la destruction de la ferme par un incendie dans les années 70. Une extension a même été réalisée à cette époque pour y placer une cuisine (présence d'une cheminée, mur isolés, placo...).

Mon CU opérationnel m'a été refusé considérant que le bâtiment n'était pas à destination d'habitation. Ma question est donc comment est-il possible de prouver que cette remise a bien été à destination d'habitation ? Quelles sont les preuves recevables ? Taxe d'habitation anciennes ? Trace d'autorisation d'urbanisme pour l'extension crée dans les années 70 ?

Merci d'avance ! :)