étendre une habitation annexe en zone agricole

Bonjour,
ma famille possède depuis 1930 une propriété d'agrément (6ha), sans aucune activité agricole, qui se trouve classée en zone agricole au PLU.
Elle est constituée de bois, prairies, d'une villa de 240m², et d'un bâtiment annexe.
Ce bâtiment annexe de 60 m² est constituée pour moitié d'un local fermé cadastré comme habitation et pour l'autre moitié d'un hangar où nous garons les voitures.
Compte tenu de l'extension de la famille, nous souhaitons aménager ce bâtiment en habitation pour y passer les vacances familiales (2 chambres, salle d 'eau. cuisine, pièce à vivre).
Les premiers contacts avec la mairie, l'architecte et tout un tas de gens nous mettent en garde sur ce projet: rien ne peut être construit si ce n'est pour l'exploitation agricole!
Or il n'y a pas et il n'y aura pas d'exploitation agricole sur ce terrain
Notre projet n'augmente pas l'emprise au sol des bâtiments, ne change pas l'enveloppe des bâtiments, est situé au milieu des bois, à 200 m de la première route, ne perturbe pas l'activité agricole de nos voisins agriculteurs (et ce depuis plus de 80 ans)
Merci de vos conseils sur la méthodologie à utiliser: soumettre le projet à un avocat au préalable pour bétonner l'argumentaire, rencontrer le maire (il faut être bon dès la première rencontre et avoir les arguments corrects, autres idées??
bonne soirée aucune aucune