Droit de passage

Bonjour,

Nous avons acheté une parcelle de terrain il y a une trentaine d'années. Notre terrain fesait parti à l'origine d'un terrain plus grand divisait en 2 parties de même superficie. Les propriétaires du terrain 1 nous ont laissé une superficie de leur terrain qui nous sert de chemin privé le long du leur (pas de servitude car c'est à nous) et en échange ils ont allongé leur terrain de cette même superficie sur le nôtre. Pour accéder à leur terrain, nous leur laissons un droit de passage de 4m.
Aujourd'hui, il souhaite divisé leur terrain en 3 parcelles (héritage des enfants) et nous demande un droit de passage sur notre chemin (accès direct à chaque parcelle soit 40m sur le chemin).
Nous hésitons fortement à leur donner ce droit sachant qu'il y a d'autres terrains enclavés tout près (où une maison à été construite sur la servitude legale) où l'accès serait possible par notre chemin. Nous avons l'impression d'être lésés car nous leur avons déjà donné une surface de terrain au départ.
Leur maison étant construite trop près de l'entrée du terrain, ils disent ne pas pouvoir faire de passage sur leur propriété.

Quels sont nos recours?
Un juge peut-il nous forcer à leur donner une servitude sachant que ce chemin nous sert aussi de parking lors de nos rassemblements familiaux? (minimum 1 fois par mois)

Merci par avance pour vos conseils.