Aucune servitude et "droit" d'entrer quand même?

Bonjour
Nous avons acquis un mas en mai 2017 notifié sans servitude dans l'acte de vente. Ce mas est divisé en plusieurs lots dont une grange quasi en ruine, qui a été achetée en 2015 par la mairie pour en faire un atelier de stockage , sauf que l'entrée de cette grange où sont stockés le matériel et le camion de la mairie, se trouve sur notre terrain (sans servitude je le rappelle). Les employés et le maire avaient pour habitude de passer par la cour de l'ancien propriétaire et lorsque nous avons acheté il y a 1 an, nous avons expliqué au maire que nous fermions dorénavant le portail à clé car les diverses associations du village venaient aussi n'importe quand chercher chaises et tables etc..et on se retrouvait avec du monde dans notre cour à tout moment. Nous avons demandé au maire de faire les travaux nécessaires rapidement pour créer une entrée à cette grange en dehors de chez nous pour que les allers/retours cessent car de notre côté nous développions une activité gites qui ouvrirait en avril 2018. Il nous a certifié que les travaux seraient réalisés dans les 6 mois (grand max décembre) et nous a demandé une clé pour accéder à son atelier, nous avons accepté et lui avons remis une clé de portail, pour lui permettre de faire ce qu'il avait à faire, le temps que les agents municipaux vident cette grange pour faciliter les travaux... Or à ce jour (1 an après donc) nous avons demandé qu'on nous rende la clé du portail, car depuis 2 mois nous exploitons nos gites et les agents non seulement n'ont pas vidé la grange mais continuent de venir chercher et déposer du matériel, donc plus question d'avoir du monde dans la cour nuit et jour. Les travaux concernant la grange n'ont pas été votés au conseil municipal donc ne sont toujours pas réalisés et nous avons décidé de nous porter acquéreur de cette grange (qui fait partie d'un lot entourant le mas que nous avons acheté).
Notre proposition d'achat étant trop basse à son goût, aujourd'hui le maire met donc en vente cette grange au plus offrant.
Or, pour la faire visiter, il va devoir passer par chez nous... ce que nous voulons refuser vu que ça fait 1 an qu'il nous fait tourner en bourrique et nous ment sciemment.
Pour rappel il a eu 3 ans pour faire les travaux et créer un accès en dehors de chez nous mais ce n'est toujours pas fait...et il est bien notifié sur l'acte de vente "aucune servitude"
ma question : sommes nous dans notre droit si nous interdisons leur passage chez nous lorsqu'il nous demandera de passer pour faire visiter sa grange ?
Merci de votre réponse