Servitude de passage sur notre terrain élargie par notre voisin

Bonjour,

notre voisin qui a un droit de passage sur notre terrain a fait construire un abris de voiture donnant directement sur notre terrain alors qu'il avait déjà un accès chez lui par un portail situé à coté de son nouvel abris. Cette construction a été faite entre le moment ou on a signé le compromis de vente et celui où on a acheter notre maison.
Il affirme être dans son droit en ayant ces 2 accès à sa propriété, chose que nous contestons. Nous avons vu un médiateur juridique qui, à ma surprise, prétend que comme ce droit de passage n'est pas clairement défini (pas représenté sur les plans de l'acte de vente de notre maison), notre voisin a le droit de passer où bon lui semble sur notre terrain!!
Qu'en pensez-vous?