Séparation de terrain

Bonjour,
Un mur séparé ma maison de celle de mon voisin d'en face, qui est venu vivre ici après moi, il y a 16 ans a peu près. Pour ma part, je vis ici depuis 20 ans et ma maison était déjà construite. Quand à lui, ce n'était qu'un lot terrain.
Celui ci pense que le mur qui nous separe devrait être recule de 10 centimètres.
A-t-il le droit de casser et déplacer cette clôture pour 10 centimètre alors que j'ai construit une dépendance, enregistrée au Cadastre, le long du mur (elle devrait être détruire si je recule).