Bardage sur mur mitoyen

Bonjour,
le mur mitoyen entre la maison de mon voisin et mon terrain est recouvert de mon côté d'un bardage avec isolant et planches pvc (+- 7 à 8 cm d'épaisseur). J'ai le permis d'urbanisme pour commencer la construction d'une maison sur mon terrain sans reprise de la mitoyenneté, autrement dis, un contre-mur est prévu accolé au sien (séparé seulement de 3 cm d'isolant acoustique). Or mon voisin ne veut pas que je touche au bardage, il voudrait que je recule mon mur, perdant ainsi une dizaine de cm de mon côté.
A-t-il le droit de m'imposer cela? En sachant que les plans de la maison à construire sont prévus et acceptés sans ce bardage.
Si le bardage doit être enlevé, qui doit le faire et à qui incombe les frais?