Terrain pas vraiment à nous

Bonjour,
Nous venons d'acheter une maison mais nous avons constaté qu'une partie du terrain n'est pas à nous mais au voisin
je m'explique : quand nous avons visité la maison cette partie de terrain est cloturé et fait partie intégrante de notre maison (cloture et dalles) mais en regardant le cadastre, nous avons constaté que cette partie apparenait au voisin.
en discutant avec le fils de l'ancien propriétaire, ce fut une entente non écrite entre ces parents et les anciens voisins ... comme cette partie n'est pas vraiment accessible par le voisin, une décision commune avait été prise d'intégrer cette partie dans notre propriété
que devons nous faire pour avoir cette partie de terrain ? devons nous le racheter à notre voisin ?