Est-ce que je dispose de mon terrain ?

Bonjour,
J'aimerais vous demander pour un autre lieu, une petite maison au milieu des pâturages, où actuellement j'habite. Là, c'est un voisin qui met ses vaches dans le champs qui est proche de la maison. Ce n'est pas très grand, environ 1000m². Cela fait des années que c'est ainsi, il n'y a rien d'écrit.
Dernièrement, je souhaitais utiliser ce champs pour agrandir mon potager et planter quelques arbres fruitiers pour ma consommation personnelle.
Mais je crains le contact avec le voisin parce qu'il a déjà obtenu de moi que je lui laisse le passage libre pour aller s'occuper de ses vaches alors qu'il y a un autre passage un peu plus loin.
Comment présenter les choses, quels sont mes droits ?
Merci de vos conseils.