Destruction clôture

Bonjour,
Suite à un litige de voisinage, nous avons fait un bornage à l'amiable (dont chacun a financé sa part).
Mon voisin a refait sa clôture en bois (qui était chez mois d'1 mètre) en mitoyenneté sous prétexte que les bornes lui appartiennent. Je lui ai fait la remarque que ce n'est pas bon, il a fait passer un huissier pour faire constater la position de sa clôture (cherchez pas a comprendre pourquoi).
Donc je suis dans mon droit si je l'attaque au tribunal pour faire déplacer la clôture. (le conciliateur ne veut plus intervenir)

Sauf que :
- Il s'est mis en surendettement suite à un autre procès qu'il a fait contre moi et qu'il a perdu.
- Ça fait 1 an que je bataille pour récupérer l'argent du procès (l'huissier est désormais en train d'intervenir mais ça va prendre du temps à cause du dossier de surendettement).
- Je n'ai ni l'argent ni la force de le mettre au tribunal pour ça, c'est encore repartir pour des années.

Donc est-ce que je suis dans mon droit si je détruis la clôture qui dépasse chez moi ?

Merci