Taxe habitation sur terrain de loisirs

Bonjour,
J ai en vu d acheter un terrain de loisirs avec un chalet de 65 m2 cadastré ou un couple de retraité y habite depuis 10 ans et y paye une taxe d habitation.
Sauf que le chalet n a pas de permis de construire.
Le chalet a environ 45 ans,en me renseignant en mairoeuvre on m explique bien que le cadastre et la taxe d'habitation ne justifie pas le fait qu il n'y a pas de permis.
Et que la prescription n existe pas que cela est juste une tolérance mais qu a tout moment le chalet peut être détruit.
J aimerais avoir vos avis objectif si le risque est réel ou si il a une solution à savoir que cela est un coup de coeur pour moi et ma famille.
Mais je ne peux me permettre de prendre trop de risques avec 2 enfants.
C est vraiment un projet de style de vie nous ne sommes en rien marginal nous travaillons tout les 2.
Merci beaucoup pour vos avis éclairés.
A bientôt.