Plan joint à description de servitude oublié

Bonjour
nous sommes quatres propriétaires enclavés et avons signé avec le propriétaire du fonds servant un acte notarié creant une servitude passage sur son terrain.
le fonds servant a changé de propriétaire et le nouvel acte de propriété reprend textuellement notre acte de servitude qui la definit par un texte non precis mais qui renvoie à un plan joint où l'assiette est dessinée et cotée .
Ce plan n'est pas annexé à l'acte .
Le nouveau propriétaire n'ayant pas le plan joint dans son acte de propriété a construit sur l'assiette de la servitude en laissant un passage de 3 metres ,alors que le plan prevoit 6 metres et pretend devant le tribunal où nous l'avons assigné , que le plan ne lui est pas opposable puisqu'il ne figure pas dans son acte de propriété .
Nous contestons cette affirmation car si le plan n'est pas joint à l'acte , il figure bien dans le texte qui dit :" l'assiette de la servitude est précisée par le plan joint ".
On n'achète pas un terrain sans demander au notaire le plan qui précise l'assiette de la servitude.
Est ce que la responsabilité du notaire est engagée pour avoir seulement transcrit le texte de notre acte de création de servitude et ne pas avoir annexé le plan à l'acte de propriété ?
Merci pour votre avis .
Jalna13