Problème un voisin suite construction de notre maison

Bonjour,
Ma famille a eu la chance d'avoir un employeur vraiment gentil. En plus de nous fournir un terrain avec une maison, il nous aide en reconstruisant une nouvelle maison car l'ancienne n'est plus en état. Derrière ma maison il y avait un mur qui nous séparait du voisin. Derrière ce mur il y avait une espace avec de la verdure et des arbres (impossible de marcher là bas). Les ouvriers ont détruit ce mur qui nous séparait. Et ils ont commencé à construire le mur de la maison. Le voisin est venu nous voir une première fois pour nous dire qu'il ne voulait pas de fenêtres sur le mur qui donne sur son terrain. On comprend il veut de l'intimité (même si les fenêtres ne donnaient pas du tout sur sa maison à cause des arbres ). Mais aujourd'hui, alors qu'on a fini les trois premières salles, avec les murs, les égouts et le plafond et qu'on va bientôt continuer, il vient se plaindre en disant qu'on a cassé son mur. Peut on dire que c'est son mur ? Puis je exiger une preuve, une attestation ? Avant la construction de la nouvelle maison, on avait un espace dédié au barbecue et à lessive. On avait un cabanon en brique dont un des murs était le mur détruit et qui apparemment lui appartiendrait. Il exige maintenant que l'on détruise le nouveau mur construit alors qu'il fait partie notre nouvelle maison en sachant très bien ce que l'on faisait. Et il a attendu seulement maintenant. Je sais que le poste est long mais j'ai vraiment besoin d'aide. On a sûrement eu tort mais je voudrais savoir ce que l'on peut faire