Problème de mesure de terrain

Bonjour,
j' habite en campagne en maison sur un premier terrain de 2000 m² puis je possède aussi un terrain de 4600 m², à la limite d'un village, entouré d'un voisin et de terrain agricole, après un premier problème de bornage avec mon voisin sur une partie de mon terrain (perte de 100 m²,un écart de 2 m sur 50 m avec la cloture posé par l'ancien propriétaire et le plan du cadastre) . Pour ne plus avoir le meme souci, j'ai remesuré l'ensemble de mes terrains, j'ai constaté qu 'il manque au fond du terrain agricole une partie de 25 m sur 55 m, cette partie de terrain fait partie d'un autre terrain et est utilisée par mon voisin pour ses vaches. Suite à un entretien avec lui,il me dit que le terrain n'est pas le sien, que ce n'est pas lui qui a posé la cloture, mais qu'il loue le terrain. Je ne connais pas le propriétaire du terrain, plusieurs personnes (héritage) difficile à joindre.
Est ce que je dois faire borner le terrain pour etre sur, a t il le droit d'utiliser une partie de mon terrain dans l'état actuel, est ce que je peux enlever la cloture ou lui demander d'en poser une autre ?
Ce n'est qu'un terrain agricole, mais depuis quelque temps les terrains mitoyens deviennent constructible, je ne veux donc pas lui laisser les 1000 m² pour les vaches.
Merci pour vos réponses