Terre contre clôture

Bonjour,
Mon terrain est en pente, il y a 2 ans nous avons rajouté de la terre contre le muret existant (on pense qu'il est mitoyen). Un peu plus bas pour arriver au même niveau, le muret n'étant pas assez haut (haut dessus il y a un grillage) nous avons mis un morceau de plexiglas (2m*1m) et 2-3 pierres pour retenir la terre.
Aujourd'hui notre cher voisin nous dit que c'est chez lui (d'ailleurs le grillage est contre le muret chez nous et descend le long du muret à je ne sais combien de mètre) et que la terre abime son grillage (même celui qui est contre le muret !!!). il veut qu'on enlève toutes la terre ....
Il a fait appel à son assurance, qui nous cite l'article 674 du code civil "qui nous interdit d'appuyer des matières susceptibles d'endommager la clôture" mais même contre le muret ??? je trouve cela aberrant !!! de plus je ne sais pas si c'est vraiment chez lui ou non ....
help !!
Merci