Acte d'achat mentionnant une parcelle devant être rétrocédée

Bonjour,

J'ai acheté un terrain composé de deux parcelles.
L'une d'elle est occupée en partie, illégitimement, par le propriétaire de la parcelle voisine depuis une vingtaine d'années.
Je viens de voir que mon acte notarié d'achat mentionne que cette parcelle "sans valeur" doit être rétrocédée à ce même voisin (sans pour autant qu'une date ne soit précisée).
Je souhaiterais conserver la partie de parcelle qui n'est pas occupée et pas entretenue par mon voisin. Ai-je un recours contre cette mention ? Quels sont les recours de mon voisin ?

Merci pour votre aide !