Limite de propriété entre mon domicile et un terrain agricole

Bonjour,
Voila 11 ans que j ai acheté ma maison ,je décide de faire une extension à la maison et là le locataire de la pâture à côté de chez moi me précise que la clôture n est pas à sa place ,qu elle doit reculer d au moins 30 cm de mon côté car à l époque (il y a environ 40 ans)l ancien proprio du champ avait donné son accord oral pour la pause de cette clôture.
Or ni dans l acte de vente ni sur le cadastre il fait trace de cette histoire de 30cm.
Suis je dans mes droits de laisser ainsi vu les années passées?
Surtout qu il n y a pas d écrit ni de trace et plus de bornes!!!
Merci