Reconstruction d'une véranda mitoyenne

Bonjour,
je souhaite reconstruire une véranda dont un coté est constitué par le mur de la maison de mes voisins (l'ancienne était très vieille vétuste et dangereuse), dans la mesure où je reconstruis quelquechose qui existait déjà, je n'ai pas jugé utile de demander à mes voisins d'autorisation,( les points d'ancrage de la véranda dans le mur mitoyen sont les mêmes qu'auparavant) A ce jour le voisin me demande de remmettre les choses en état à mes frais (les travaux ne sont que peu avancés) et souhaite m'interdire de faire les travaux
En a-t-il le droit?