Occupation abusive d'un terrain agricole

Bonjour, j'ai un pré d'un peu moins de 2 hectares que j'ai conservé après la vente de ma maison,il y'a déjà plus de 20ans. D'ailleurs, à l'époque,j'ai failli ne pas réaliser la vente simplement parce qu'un paysan voisin mettait ses vaches sur mes prés sans aucun bail de quelque sorte que ce soit, juste par abus, profitant de ce que je n'occupais pas la maison.
Le notaire m'avait demandé alors d'obtenir un courrier dans lequel ce monsieur s'engageait
à quitter de façon irrémédiable mes terres(modestes!) , ce que j'ai eu non sans difficultés et qui m'a permis donc de faire la vente avec quelques parcelles. Depuis, il occupe toujours (je ne suis pas sur place!) le pré qu'il me reste...est ce que le courrier qu'il m'avait fait alors est toujours valable? j'ai cru comprendre qu'au bout d'un certain temps les personnes qui occupent abusivement devenaient propriétaires???comment faire ,si c'est vrai, pour ne pas se faire "dépouiller" quand on ne peut pas occuper soi même son terrain, c'est quand même "ma propriété" même si ce n'est pas d'une grande valeur! je trouve ça scandaleux!
merci de vos conseils