Mur privatif

Bonjour,
Quand nous avons acheté notre maison, notre abri de jardin était construit sur le mur privatif du voisin. Cela etait indiqué sur le cadastre. L'abri etait dangereux, nous avons donc retirés 2/3 du bâtiment pour protéger nos enfants du risque d'effondrement. Nous avons continué à déclarer les m2 de notre abri, dans le but de le reconstruire à l'identique. Entre temps nous avons changé de voisin, peut'il nous interdire de remettre l'abri là où le cadastre l'indique et de réutiliser son mur de séparation pour la soutenir comme à l'origine?