Non aedificandi et contigu

Bonjour,

Nous avons herités d une propriétée de nos parents sur lequel il y avait une servitude de non aedificandi sur les terrains contigus a la propriétée dominante .Nous avons vendu toute la partie contigu et nous avons garde les autres parcelles qui sont constructibles. le proprietaire du non aedificandi fait valoir la servitude pour nous empêcher de vendre en terrain a batir.Or ces parcelles ne sont plus contigus a sa propriété.
qui a raison?
Merci de vos réponses