Barrière et cloture

Bonjour,
mon voisin a cloturé et fermé par une barrière son terrain, mais par méconnaissance du bornage, il empiète de manière importante sur mon terrain.
puis je enlever moi même sa cloture et barrière et cloturer à la limite de ma propriété ? ou dois je d'abord intenter une action en justice, car lui refuse toute négociation, je lui ai proposé de racheter la bande de terre en question à petit prix, mais il refuse.
merci de votre réponse.