Echange de portail dans un lotissement

Bonjour,
je m'xplique, j'ai acheté ma maison il y a 5 ans, sur le côté, il y a un droit de passage s'une 20aine de metre sur 1m de large , car toutes les maisons de la rue ( 5 au tatal dont la mienne) avons les jardins l'un derrière l'autre le mien étant le premier, j'ai changé la clôture qui était en grillage pour un eclôture en dur comme on fait maintenant, an y incluant un portail, pour remplacer celui qui y était en bois tout pourri, le voisin, vient de me menacer de le faire souder en me disant que je n'ai pas le droit de mettre un portail ...sachant qu'il y était j'en ai remis un, ...est il dans ses droits????