Droit de passage pour terrain non enclavé

Bonjour,
Mon voisin possède un droit de passage par mon portail pour un terrain non enclavé! Jusqu'à présent la maison était inoccupée, or depuis cet été il fait des travaux importants de rénovation. Au lieu de supprimer le mur pour faire une ouverture vers la voirie, il emprunte mon portail avec des engins de gros travaux sans même me prévenir! Je lui ai demandé de se faire une ouverture et il m'a répondu : non. Que puis-je faire? Puis-je lui interdire le passage? Ma maison étant une résidence secondaire, je suis rentrée en région parisienne sans avoir résolu le problème. En outre mon terrain, déborde chez mon voisin et va jusqu'à la moitié de sa porte d'entrée. Etant donné son "sans gêne, j'ai refusé de lui vendre le morceau de terrain qui se trouve devant sa maison. Pouvez-vous me dire comment je peux faire pour résoudre ce problème?
Merci d'avance.
Gigi