Empiètement talus

Bonjour,
j'ai acheté une maison en 2ème main dans un lotissement. Lors de la construction le terrain a été aplani et le constructeur a poussé de la terre sur la propriété de mon voisin. Son terrain est un plus bas que le lotissement et il existe déjà un talus avec des broussailles et des arbustes et la terre a été poussé sur à peine 10 m de toute la longueur du talus. Ce type de talus et creux séparait les champs et permettait à l'eau de s'écouler.
J'ai demandé à ce voisin de couper les branches d'un arbre ancien en limite de sa propriété car les branches touchaient mon toit. Lors de cet entretien, il m'a dit je couperais quand vous aurez enlever la terre poussée . J'ai donc enlevé la terre qui le dérangeait pour garder aussi de bonnes relations de voisinage.
Aujourd'hui il m'adresse une lettre recommandée m'informant qu'un expert est missionné par son assureur pour un litige d'empiètement du talus. Or cet empiètement ne l'a pas dérangé avant. Il n'a rien fait auprès du constructeur ni du précédent propriétaire.
Il est vrai que j'ai l'impression qu'il est plus facile de s'en prendre à une femme seule
Pouvez vous me dire comment je peux me défendre?