Probleme de chemin d'exploitation

Bonjour,
J'ai fait l'acquisition d'une maison a la campagne dans un hameau il y a 1.5 ans.
Lors de la vente il m'a été stipulé que sur le haut de l'une de mes parcelles passait un chemin d'exploitation et que je devais le laisser pour un droit de passage pour les agriculteur, jusque la aucun souci.
J'ai appris que mon voisin voulais clôturer chez lui et donc fermer ce chemin car en faite derrière ma maison, le chemin passe sur sa parcelle pour rejoindre la route, et qu'a cette endroit sur le cadastre le chemin n'ai pas répertorié.
Comment faire pour garder ce chemin qui desserre tout les champs au alentour ( qui sont exploiter par mon voisin au passage) et en même temps qui desserre 2 de mes parcelles.
Sur le cadastre le chemin commence juste après ma maison donc dans un champs, et termine dans un champs, es ce que c'est possible? sachant que sur les carte de l'IGN le chemin est dessiner correctement!!!!!
Qui a raison le cadastre ou les carte de l'IGN???
A t'il vraiment le droit de fermer le chemin ou de le dévier?
J'ai demander au maire de ma commune comment on pouvais faire car ce chemin existe depuis 50 ans et est empreinte par des promeneurs et tout les habitants du hameau pour ce balader, mais la réponse du maire a été " Mr je ne peut rien faire pour vous car c'est le papa de votre voisin qui s'occupe de tout ce qui est chemin a la mairie......."
Que doit-je faire, a qui m'adresser pour connaitre réellement mes droit et ceux de mon voisins????
Merci d'avance pour votre aide a toutes et tous