Location et droit de passage

Bonjour à tous,

J'ai un petit soucis avec mon propriétaire.
Voilà je loue un appartement dans une résidence qui compte au total 6 logements.
Nous avons accès à notre résidence par un chemin privé qui appartient à notre propriétaire mais c'est nous (les locataires) qui payons l'entretien de ce chemin privé (espaces verts). Seulement il y a un droit de passage attribué à 2 des voisins de la résidence.
Mon problème est le suivant : notre propriétaire a autorisé une association à venir sur notre terrain pour prendre des photos et faire des relevés de terrain sans but réel. Moi et les autres locataires n'étant pas au courant de cette visite, nous avons fait partir ces personnes. Le propriétaire nous dit maintenant que nous n'avions pas le droit de le faire car le droit de passage lui appartenais et que nous n'avions rien à dire.
Ma question est la suivante: est-ce vrai que nous n'avons rien à dire alors que c'est nous qui entretenons ce passage. et est-ce normal qu'il autorise des gens à venir sur le terrain sans notre accord ?
merci pour vos réponses