Servitude de passage

Bonjour,
J'ai vendu un terrain avec une servitude de passage sur mon terrain. Le probléme et que la construction de la maison et fini et que la personne a qui j'ai vendu ne veux pas remettre la servitude en etat, en me disans que c'est moi qui doit payer les gégats qu'il a fait sur la servitude de passage puis que je suis la propriétaire ( cloture,piliers, borne de limite de propriété arraché , plus servitude complétement défoncé et en plus il a fait instalé le compteur d'eau sur mon terrain) . Merci de me dire si comme je suis propiétaire je doit payer ces dégats, le notaire ma dit que non. Je pense a aller en justice.