Servitude de passage en cas de division de parcelle

Bonjour,

Je viens d'arriver à un accord avec mon voisin : je lui laisse la servitude pour accéder à son terrain (1 seule parcelle d'un hectare, non constructible) et en échange il m'en donne un morceau (pour y faire un potager).

Pour l'instant, il vient de temps en temps pour l'entretenir, donc pas vraiment de nuisances au niveau de la servitude de passage.

Cependant, je me demande ce qu'il se passerait au niveau de la servitude si son terrain devenait constructible et qu'il décide d'y construire plusieurs maisons (ou de la vendre à un lotisseur).

Ma question est la suivante : existe-t-il un moyen de laisser passer mon voisin sur sa parcelle, mais pas en cas de division de parcelles (en vue de construire) ?

Merci d'avance.

Franck.