Clôtures

Bonjour,
j'ai mis une clôture l'année dernière entre chez moi et mon voisin, celui-ci a bien voulu payer une partie mais ne voulait pas de la clôture sur son terrain, je l'ai donc mis chez moi.
Aujourd'hui il souhaite mettre un brise vue sur cette clôture mais je ne suis pas d'accord.
Suis-je donc dans mon droit de refuser, sachant qu'elle se trouve sur mon terrain mais qu'il a payé juste une partie (un peu moins de la moitié) ?
Merci de votre réponse (avec texte de références si possible).
Cordialement.