Chemin privé

>Bonjour,

Je suis propriétaire d'une maison en campagne et j'ai un chemin privé pour rentrer chez moi.
Or le long de ce chemin il y'a une grange d'un voisin mais sans aucune ouverture du côté de mon chemin.
J'ai construit un poteau en pierres pour fermer par un portail ma propriété. Je n'ai pas touché le mur de cette grange car j'ai mis un carton avant de cimenter . Mon voisin peut-il me causer un problème ?