Droit de passage pour des logements sociaux.

Bonjour,
Nous sommes plusieurs propriétaire a avoir acheté un appartement dans un immeuble rénové, en achetant notre appartement, Nous étions prévenu par l'agence immobilière qu'ils allaient construire deux petits immeubles sur le même terrain pour des appartements privé. Pour accéder à notre immeuble, Nous devons passer une barrière automatisé car c'est une résidence privé fermé, Nous aurons donc la même entrée pour accéder aux immeubles (notre immeuble et les deux qui vont être construit).
Cependant, nous venons d'apprendre que les deux futurs immeubles vont être des logements sociaux, avec la crise, ils n'ont pas réussi à vendre les logements a des particuliers donc HLM va racheter les deux immeubles à l'agence immobilière une fois qu'ils seront construient.
Ceci devient très embêtant car ces personnes vont devoir passer sur notre terrain privé.
J'aimerais savoir si HLM à le droit de faire entrer leur futurs locataires sur notre terrain que nous avons acheté comme terrains privé? Ou doivent-ils leur créer une autre entrée pour accéder à leur logement?
En espérant que vous pourrez m'aider.
Cordialement