Voisinage droit de passage

Mon voisin a crée un portail dans son mur non mitoyen et passe dans ma propriété qui n'était pas clôturée totalement. J'ai déposé une DP accordé par la mairie, qui me demande de finir les travaux rapidement. Mon voisin a déposé un recours,pour lequel il a été débouté,en avril 2014. Il faut savoir que son adresse sur l'acte de vente est sur une autre rue. Aujourd'hui deux après ; la famille veut s'opposer au travaux sous prétexte qu'elle va perdre le droit de passage voiture. A noter que j'accorde néanmoins, le passage piéton à la maman très âgée; tant qu'elle peut passer. Sur les actes il n'y a aucune mention de service ou droit de passage. Mon voisin s'est même attribué le n° de ma parcelle, qui a deux adresses: une à l'avant et l'autre sur l'arrière de la parcelle. La famille veut faire valoir la loi trentenaire. Je que le tribunal administratif en a tenu compte. Que dois-je faire?
Merci pour votre aide