Enclavement volontaire involontaire...

Bonjour,
J'ai acquis auprès d'un promoteur 2 parcelles mitoyennes dont l'une est constructible et l'autre pas.
Chacun des terrains communique avec la voie publique ( le terrain constructible par la voirie d'un lotissement, le terrain non constructible par une voie de desserte des propriétés riveraines d'une voie express ( usuelement voie publique municipale) .
Aucun des 2 terrains n'est grévé d'une quelconque servitude avec aucun autre ou d'une restriction d’accès a la voie publique .
Or...
J'ai achevé de bâtir une maison 2 faces sur le terrain constructible ( c’était imposé par le lotisseur)
J' ai clôturé les 2 terrains en les laissant communicants entre eux, le terrain non constructible 4 fois plus grand que le terrain à bâtir étant utilisé comme verger et potager .
Lorsque j'ai installé le portail sur la clôture de la parcelle non constructible, au droit de la voie de desserte, le gestionnaire de la voirie m'a imposé de le supprimer et de le remplacer par un élément de clôture fixe.
Il m'a été précisé que je ne possédais pas de droit d’accès à cet endroit et que je n'en posséderais jamais.
Le gestionnaire m'a explique que je ne pouvais accéder au terrain non constructible qu'en passant par la parcelle constructible.
Le droit de passage par la voie de desserte m'aurait été tacitement accordé que temporairement, pendant le temps des travaux.
J'ai fait remarquer que je n'avais pas été informé de ces dispositions et que la maison empêchait maintenant l’accès...
Il m'a été répondu que je m'étais enclavé moi même...

Pour ces raisons, le tribunal viens de m'envoyer la gendarmerie pour que je close ma propriété.

Le défenseur des droits, après s’être informé auprès de la collectivité, ne m'apporte aucune aide et m'avance que le gestionnaire peut aussi m'imposer de n'avoir qu'un un seul accès par unité foncière.

Quels sont mes recours pour que je puisse conserver cet accès, qui m'est réellement nécessaire.

Merci

ap