Batiment se trouvant sur terrain du voisin

Bonjour,

j'ai achete ma maison en 2004 SANS QUE MON TERRAIN SOIT BORNE, puis quelques annees plus tard nous avons fait borne cependant avec le geometre nous nous sommes rendu compte que nous avions un box a cheval qui empiete sur le terrain du voisin.
ne voulant pas lui acheté car trop cher il veut m'obliger a detruire la partie empiettent chez lui au motif que j'ai signé le dossier du géometre qui stipule qu'il mefaudra le detruire a la demande de mon voisin
donc ne pouvant se mettre d'accord nous avons rdv chez le médiateur demain