Demande retrait du portail sur droit de passage

Bonjour
Drôle de situation après dix ans de voisinage agréable, je vends ma maison.
Afin d'embellir ma cour avec un droit de passage, je décide de carreler et installer portail et portillon entre ma maison et rue, pour sécurité de mes petits enfants. Demande faite à la mairie monuments historiques.
Aujourd'hui par courrier mis dans la boite aux lettres, venant de mes voisins, ils me demandent de retirer portail, portillon et pillasse, que ce n'est pas un acquis, autorisé verbalement écrit sur cette lettre, et veulent faire capoter mes futurs visites.
Sur mon acte notarial il est stipulé 15m2 et nous en avons laissé 17m2, calculés de pilasse à pilasse avec un portail de 3m pour qu'ils puissent rentrer leur véhicule.
Si quelqu'un peut me répondre ou me renseigner sur les démarches que je dois faire.. Je voudrais signaler que mes voisins sont très interéssés par ma maison, mais il faudrait que je leurs brade...
Je vous remercie à l'avance de vos réponses.