Droit de passage ou pas ?

Bonsoir,
Je me tourne vers vous pour un problème récurrent avec mon voisin.
Lorsque nous avons acheté notre propriété, nous avons demandé à l'agence s'il y avait des servitudes ou droits de passage sur notre terrain (condition importante pour nous pour décider si nous achetions ou pas). Celle-ci nous a assuré que non et, effectivement, sur l'acte notarial de propriété, il l'est clairement indiqué.
Depuis l'année dernière, notre voisin (que nous avons retrouvé sur notre terrain sans autorisation) nous affirme que, avec les anciens propriétaires de notre maison, ils avaient le droit de passer quand ils voulaient afin d'entretenir leur gouttière (gouttière bétonnée au sol, qui s'écoule vers la route)... Nous avons donc fermé notre propriété avec un cadenas et lui avons proposé de lui ouvrir lorsqu'il aurait besoin de nettoyer sa gouttière... Chose que j'ai faite ce matin, mais j'étais occupée et n'ai pas surveillé ce qu'il faisait... Après quelques heures, je me suis rendue-compte que ce monsieur avait tout simplement enfoncé des piquets sur ma propriété, le long de sa maison, pour délimiter "ce qui lui appartient" et avait arraché le point d'attache du cadenas... Avait-il le droit de procéder ainsi sans nous en informer ? n'est-ce pas à un géomètre de délimiter exactement une parcelle ? N'y a-t-il pas violation de domicile ? Quels sont mes droits ? (J'ai arraché tous les piquets et remis un cadenas dès son départ, car c'est une maison qu'il n'habite pas...).
J'avoue que je suis un peu perdue face à cet énergumène, d'autant plus que mon mari est absent la semaine et que ce monsieur pense me faire gober n'importe quoi...
Je vous remercie par avance pour vos conseils.