Viabiliser un ancien petit mas agricole

Je suis, depuis 1996, propriétaire dans l'Hérault, d'un petit mas agricole construit dans les années 50, et que l'acte notarié défini comme « un immeuble à usage d'habitation, édifié sur un terrain dont la superficie excède deux mille cinq cents mètres carrés, le surplus du bien étant affecté à usage rural ».
En tant que propriétaire des lieux, je paie chaque année une taxe d'habitation et une taxe foncière.
En 17 ans, j'ai apporté quelques améliorations à l'intérieur de la bâtisse (peinture, carrelage, décoration) en prenant le parti de ne surtout pas modifier son aspect extérieur. Si l'endroit est charmant, il manque singulièrement de confort. J'ai donc récemment envisagé de le faire viabiliser. J'ai adressé un courrier aux services Urbanisme de la commune, pour :
- demander si un raccordement ERDF était envisageable (le poteau électrique le plus proche se situant à environ 200 mètres de ma propriété)
- et pour proposer de régler moi-même les problèmes d'eau en faisant réaliser, à mes frais, un forage, une fosse septique et un champ d'épandage aux normes.
Réponse de la commune : NON. "Votre parcelle se situe dans la nouvelle zone Naturelle du PLU. Ce secteur n'est pas destiné à recevoir des constructions à usage d'habitation".
Réponse un peu à côté de la plaque : la bâtisse existe déjà et semble, si j'en crois l'acte notarié, déjà habitable. Par ailleurs, j'imagine que la nouvelle Zone se situe au ras de ma propriété puisque les premières habitations, viabilisées, elles, se trouvent à 350m de chez moi... Imaginant que c'était la demande de raccordement ERDF qui avait pu coincer, j'ai fait parvenir un nouveau courrier aux Services Urbanisme de la Commune, en vue d'obtenir l'autorisation de procéder, à mes frais, à l'installation de panneaux photovoltaïques et de faire réaliser, toujours à mes frais, un forage. Nouveau refus de la part de la ville et réponse à nouveau très légèrement à côté de la plaque : "La commune souhaitant préserver ces terres, et votre mas ne pouvant changer de destination pour un usage d'habitation au titre de l'article N2 du PLU, la commission d'urbanisme ne peut répondre favorablement à votre demande de forage et de pose de panneaux photovoltaïques."
Nouveau courrier de ma part pour préciser que mon petit mas ne changerait pas de destination, puisque justement il est DEJA habitable si j'en crois l'acte notarié et les taxes (habitation et foncières) dont je m'acquitte. Réponse de la commune : toujours NON. "Vous nous rappelez que l'acte notarié désigne votre bien comme "un immeuble à usage d'habitation" Je vous informe que les clauses de l'acte notarié ne prévalent pas sur les règles d'urbanisme et ne créent aucun droit. Ces mentions ne sont pas opposables aux règles d'urbanismes. D'autre part, concernant la taxe d'habitation que vous payez, la valeur fiscale liée à votre mazet ne correspond pas au caractère d'une maison d'habitation, la valeur en est bien moindre. »
Dois-je comprendre que mon bien était habitable lorsque je l'ai acquis mais que, le nouveau PLU étant passé par là, ma petite propriété a perdu en cours de route son statut « d'immeuble à usage d'habitation » (désignation de l'acte notarié) pour se transformer en parcelle agrémentée d'un bâtiment agricole inhabitable ? (si oui, ma joie est grande).
Concernant les taxes dont je m'acquitte, je paie effectivement des sommes dérisoires (une trentaine d'euros pour la taxe d'habitation, 75 euros pour les taxes foncières). Cependant je n'ai pas fixé le montant de ces impôts. Pas plus que je n'ai décidé de leurs dénominations (taxe d'habitation, taxes foncières) ou des droits et des devoirs qui leurs sont inhérents. J'ai des devoirs, je l'ai bien compris : je paie. Point barre. Mais aujourd'hui, je m'interroge. L'administration fiscale aurait-elle décidé, par pure fantaisie, d'inventer, juste pour moi, une toute petite taxe rangée, par défaut, dans la catégorie « Taxe d'habitation », mais que la Commune où mon mas a le bonheur d'être installé ne reconnaitrait pas comme telle ?
Que dois-je faire? J'ai tenté de prendre rendez-vous, en vain. Dois-je m'adresser au Tribunal Administratif? Ai-je une quelconque chance d'obtenir gain de cause? Ou bien les communes et leurs PLU sont-ils tout puissants?
Bref vos lumières seront les bienvenues !