Tour d'echelle et construction mur de soutènement

Bonjour,
Nous projetons la construction d'un mur de soutènement en bordure de notre terrain (permis de construire accordé par la mairie).
Quelques mètres de ce mur soutiendront un remblais (actuellement c'est une rampe d'accès béton que nous allons déplacer) et l'autre moitié du mur soutiendra notre terrain en pente, qui s'éboule doucement sur le terrain voisin en contrebas.
Le terrain voisin est un "espace vert" appartenant à 13 co-lotis (dont nous ne faisons pas partie). Le Président de l'association du lotissement voisin nous a fait savoir qu'il s'opposerait à la construction de ce mur de soutènement... en interdisant aux ouvriers l'accès à l'espace vert (accès indispensable à la réalisation de ce mur).
Peut-il interdire l'accès à ce terrain "collectif" et ainsi, entraver la tenue des travaux?
Je vous remercie