Passage chemin pour entretenir mur / suite à division

Bonjour à vous,
Imaginez un terrain rectangulaire divisé à ses 2/3 par une allée carrossable donnant accès à une maison enclavée.

Ce terrain a été divisé en 2 lots distincts de part et d'autre de ce chemin lors de la succession du couple de personnes âgées à qui il appartenait. Sur la plus grande partie se trouve ma maison des années 1920 achetée lors de la division de cette parcelle il y a une quinzaine d’année.
Sur la partie plus modeste, jadis l'emplacement d'un potager, une nouveau pavillon a été depuis érigée. Il a été cédée à un nouvel acquéreur en juin dernier.

L’allée carrossable qui support une servitude de passage pour une maison enclavée, a été affectée sur le petit terrain (certainement pour le rendre plus attrayant pour la vente). Ainsi, ma propriété ne s'est vu octroyer que la section devant mon portail environ 5m sur les 30 m au début du chemin coté rue.

Cette allée, stabilisée et gravillonnée, est (certainement depuis l’origine de la maison 1920) bordée de mon côté d’un muret ancien de pierre surmonté d’une grille en fer forgé, et coté du voisin « Maison neuve » de panneaux de bois . Mon mur est donc adjacent à la partie de l'allée appartenant à la construction neuve.

Je précise que la « maison neuve » n'utilise pas ce chemin, en fond de son terrain, clos par des panneaux de bois et sur laquelle il n’a pas fait de sortie (portillon ou portail).
Voilà pour le contexte.

La semaine dernière, j’ai entrepris de repeindre la grille de mon mur pendant les congés de mes « voisins enclavés » afin de ne pas risquer de les gêner. J’ai 76 ans ce qui implique que davantage de temps me soit nécessaire pour de tels travaux.

Mon nouveau voisin « Maison Neuve », m’a vu par ses fenêtres et est arrivé en furie me disant que je n’avais pas le droit d’être à cet endroit du chemin et qu’il pouvait appeler la police pour constater une violation de domicile.

J’ai expliqué à ce monsieur que depuis que j'ai acheté je passe sur cette allée pour entretenir le mur et couper quelques branches des arbustes de mes massifs qui pourraient gêner le passage. Il me répond qu’il n’y pas de servitude de passage à mon profit sur cette zone donc que je n’ai pas le droit me tenir sur son terrain.

J’ai vraiment essayé de lui faire comprendre l’absurdité de la situation, ne voyant pas le préjudice que je lui cause. Mais rien n’y a fait, et il m’a interdit de passer sur l’allée (sauf pour aller voir mes voisins puisque servitude de passage de la maison enclavée).

C’était la première fois que je rencontrais mon nouveau voisin et je dois avouer que le moment n’a pas été agréable.

Et cela m’ennuie d’autant plus que, en dehors de l’entretien de la grille, je dois reculer un peu sur cette partie de l’allée lorsque je sors en voiture de chez moi en marche arrière afin de me présenter mon véhicule en marche avant sur la voie publique. Va-t-il me l’interdire également quand il s'en apercevra ?

S’il me l’interdit je devrais manœuvrer sur la rue qui est très passante qui plus est en sortie de virage. Ce serait très dangereux.

Je suis particulièrement inquiet à ce sujet et je ne sais que faire ni vers qui me tourner pour m'épauler.
Votre aide me serait précieuse.

Bien cordialement

Serge