Droit de passage

Bonjour,
Ma maison donne sur la rue. J'ai un voisin qui habite derrière chez moi. Un droit de passage a été accordé dans les années 80 au voisin et à moi puisque j'ai des terrains à l'arrière. Ce droit de passage se situe entre moi et mon voisin mais le fond servant c'est mon voisin (mais que l'ouverture environ 2m de long). J'ai toujours utilisé cette petite allée pour rentrer chez moi sans aucun probleme. Aujourd'hui mes enfants ont construit leurs maisons sur leur terrain derrière chez moi. Ils utilisent donc cette allée pour gagner leur domicile. J'ai alors fais une petit portail pour piétons donnant sur cette allée. Mon voisin s'est mis en rogne et me cherche des histoires pour ce portail. Le portail donne sur l'allée qui est en fait sur mon terrain. Ai-je le droit de faire ce petit portail?