Droit de passage largeur

Bonjour,
Nous avons acheté un terrain qui se trouve en deuxième position. Il est desservi par un chemin de 55 mètres dont nous sommes les propriétaires Notre voisin qui est en première position et bord de route à un droit de passage sur une longueur de 39 mètres. Il a installé un portail à la limite de ce droit de passage et un autre à l'entrée du droit de passage près de la route. Ce droit de passage est en forme d'entenoir. La partir la plus grande est en bord de route départementale. Il fait 8,70 m. Il est réduit d'un côté d'1,5m par les compteurs électriques du voisin et du nôtre. Et de l'autre côté nous avons mis trois arbustes et notre boîte aux lettres. La largeur finale est de 5,15m. Notre chemin est bordé par une haie naturel qui existe depuis des dizaines d'années. Elle était présente quand nous avons acheté le terrain. La boîte aux lettres et les arbustes sont dans son alignement.
Le voisin exige que nous enlevions notre boîte aux lettres et les arbustes. Il nous dit que nous n'avons pas le droit de réduire la largeur du droit de passage. Dans l'acte notarié, il est seulement précisé qu'il a un droit de passage sur une longueur de 39 mètres.
Depuis huit ans que nous sommes installés il nous cherche des problèmes tout le temps (courrier en recommandé, convocation avec le maire, conciliation, huissier....) et maintenant il veut engager une procédure en justice.
Je voudrai savoir si nous pouvons laisser les arbustes et la boîte aux lettres, si on peut mettre un portail automatique à la limite de notre terrain côté route avec un code d'accès pour lui ou si on peut lui retirer son droit de passage sur les 39 mètres bien qu'il est installé deux portails. C'est nous qui avons besoin de cette allée pour accéder chez nous et pas lui au final.
Merci pour votre réponse.