Clore un terrain appartenant au voisin ?

Bonjour,

J'ai acheté il y a 32 ans un terrain avec un droit de passage sur 5m² du terrain voisin nécessaire pour élargir ma route d'accès, droit de passage mentionné sur l'acte de vente. Je voudrais maintenant clore totalement ce terrain qui ne l'a été jusqu'ici que partiellement en y incluant ma route d'accès. Pour cela, je devrais intégrer dans ma clôture ces 5m² que j'ai fais paver il y 32 a et dont je suis depuis le seul utilisateur. Sinon ma clôture n'aurait pas beaucoup de sens car il manquerait 4 m linéaires pour être complète. Comment justifier juridiquement cette clôture ? Le terrain voisin a été racheté par un promoteur avec qui mes relations sont un peu tendues et si je lui demande de les racheter ou sa permission, je sens que je vais avoir une négociation très difficile. Puis je m'appuyer sur l'acquisition prescriptive bien que je sache que ce terrain appartient légalement à mon voisin ? Quels sont mes risques juridiques si je fais clore unilatéralement ?