Construire contre le mur de la maison voisine

j'ai fait une declaration prealable de travaux à savoir une extension de ma maison, celà a été autorisé par la mairie et m'a donné le droit de commencer les travaux.
ce que j' ai fait avant les 2 mois pendant lesquels les tiers peuvent contester
ces travaux.
ma maison étant accolée à celle des voisins,( bien que 2 murs distinct et séparés par une plaque de polystirène) mon extension sera également accolée.
ai-je le droit ?
les services d'urbanismes ont eu tous les plans et mon donc donné leur accord.
mon voisin conteste maintenant cette décision prétextant que je ne peux toucher à sa maison il estime que celà lui est préjudiciable.