Servitude de passage conventionnelle et branches gênantes

Bonjour,
Ma propriété résulte d'une division.
Mon terrain a une servitude de passage au profit du voisin qui l'autorise à passer par mon portail. Celui-ci est télécommandé ainsi que l'éclairage extérieur. Ce voisin laisse souvent le portail ouvert et la lumière allumée. Outre la consommation électrique, des étrangers peuvent pénétrer sans que je puisse les voir. En échange de cette servitude, le voisin sort les poubelles, disposition non écrite. Dans quelles conditions puis-je annuler cette servitude, d'autant qu'il pourrait construire un accès direct à la route ?
De plus, les branches d'un de ses arbres sont un risque pour ma ligne téléphonique qui passe au-dessus de son terrain, et celles d'un autre sont gênantes pour le passage de camions. Que suis-je autorisée à faire et quels dommages peut-il invoquer si des branches sont cassées dans le dernier cas ?
Merci d'avance pour vos réponses, d'autant que mon problème devient urgent vus nos relations actuelles ...