Mur de garage non mitoyen

Bonjour,
A l'arrière de ma maison se trouve un jardin et un garage. Idem pour mes voisins. Je souhaiterais ériger une palissade entre nos deux garages (qui ne se touchent pas). Pour raison de stabilité, j'aimerais fixer un poteau sur le mur de mes voisins au moyen de deux ou trois vis ou autres. Mes voisins ne sont pas d'accord. Ai-je le droit ou je risque quelque chose si je le fais tout de même ?