Problème de voisinage

Bonjour,
Il y a plus de 10 ans, nous avons agrandi la taille de notre jardin en allongeant le mur que le voisin avait construit avant notre arrivée. Ce mur étant de son côté, nous avions son accord.
Nos rapports s'étant détériorés, il veut qu'on enlève la clôture.
Sommes nous obligés de l'enlever ?
Merci de votre réponse.