Destruction box empietant sur le terrain

Bonjour,
Je suis propriétaire d'un terrain ou j'ai fait édifier une maison, j'avais un permis de démolir pour un box se trouvant sur le terrain, mais empietant d'environ 3 m2 sur le terrain voisin.
Ce box nous appartenait mais des l'instant qu'on le faisait détruire il fallait ensuite respecter les limites de propriété pr l'édification de muret par exemple.
Le problème c'est que lorsque nous avons fait détruire le box, le voisin nous a indiqué que le terrain récupéré devait être réaménagé à nos frais "à l'identique", ils voulaient à l'époque qu'on édifie un nouveau mur et qu'on fasse une dalle car il voulait y mettre leur voiture.
Je ne trouve rien dans le code civil concernant le cas ou on détruit un box qui setrouve empieter sur le terrain du voisin, et les suites de la dite destruction.
J'ai appelé l'urbanisme qui m'a dit que les travaux à ma charge étaient stipulés sur mon permis de construire ou de démolir, et rien ne mentionnait des travaux à faire chez le voisin à la suite de la destruction...
Je suis un peu perdue je ne veux pas être injuste, mais pas me faire avoir non plus...