Probleme de servitude sur une impasse

Bonjour,
lorsque nous avons acheté notre terrain pour construire notre maison, le propriétaire s'ait réservé une parcelle de terrain qu'il n'a pas vendu, mais sur lequel nous avons notre passage, ainsi que notre voisin qui a construit en même temps sur le même terrain divisé en 2 parcelles. Cette bande de terrain est bien stipulée pour notre passage ainsi que celui de notre propriétaire. Jusque là pas de problème Nous habitons la maison depuis 1984. Mais voilà que depuis quelques mois il a donné la servitude au petit fils de notre voisine qui n'a rien à voir avec la parcelle où nous sommes , mais pour ne pas passer chez sa grand-mère, car il cultive la terre au dessus de chez elle . Pouvons nous refuser, car il y a plus de trente ans que l'on entretien cette impasse avec notre voisin. Merci