Droit de passage(portail)

Bonjour, j'ai un droit de passage, pour acceder a mon terrain, qui est une terre non constructible, mais ou je fais du jardinage, et mon voisin, veut installer un portail a l'entree de ce passage, tout en me donnant une clef bien sur. J'aimerai savoir, s'il est en droit de le faire. Bien entendu il ne m'a rien demandé avant de commencer les travaux( tranchéé ) ce qui me pose probléme pour aller dans mon terrain avec ma remorque.