Législation achat terrain agricole avec construction sans PC

Bonjour, voilà je vous explique mon interrogation. Avec ma compagne nous sommes en contact avec un propriétaire vendant son terrain agricole sur lequel il a bâti une construction de 50m² (dans laquelle il vivait avec sa femme et ses deux enfants).
C'est une construction sur base d'un petit chalet en kit avec des extensions en agglo. Le terrain est viabilisé (eau et électricité). J'ai appris aujourd'hui par son notaire qu'il l'avait bâtie sans permis de construire. Je sais que le maire de l'époque était au courant et qu'il a pu y vivre sans problèmes. J'ai vérifié sur le cadastre, elle est recensée.

Néanmoins le notaire m'a précisé que l'on pouvait me demander de la démolir si quelqu'un me dénonçait. Au delà de ce risque je voudrai savoir si il est légalement possible d'y vivre en étant déclaré en résidence principale et d'y apporter des travaux de rénovations ou même y ajouter un étage (sans modification de la surface au sol bien entendu). J'ai déjà été en contact avec le maire de la commune et je peux le contacter relativement facilement.
Aussi quelles sont les contraintes à long terme de vivre dans une maison construite sans PC et quels sont mes risques étant donné que j'achète le terrain avec une construction déjà présente.

Ce n'est peut-être pas de coutume ici mais serait-il possible que les réponses peuvent être accompagnée d'une référence en matière de connaissance en droit de l'auteur afin que je jauge la fiabilité de celles-ci.

En vous remerciant.