Mise en demeure par mes voisins

Bonjour,

je viens de recevoir une mise en demeure par mes voisins pour détruire notre abris à bois "illicite" et replanter la haie de thuyas (qui était sur notre terrain) dans le mois.

Nous avons eu quelques problèmes avec la mairie au sujet de l'abris à bois suite à une mauvaise information verbale de la secrétaire de mairie (pas besoin d'autorisation étant donné que nous voulions détruire l'ancien abris à bois et donc que c'était considéré comme un déplacement). Lors d'une visite chez une voisine conseillère, le Maire et 2 de ses conseillés prennent connaissance de notre projet et nous demande juste de leur écrire une lettre d'information pour qu'il sache quoi répondre aux personnes qui viendraient lui poser des questions à ce sujet.
Enuite, nous avons donc construit notre abris de 18m2 en limite de propriété à la place d'une haie de thuyas et là, le responsable de l'urbanisme nous tombe dessus en nous disans qu'il faut une déclaration de travaux!
Je réalise ce dossier et nous découvrons que l'ouvrage ne peut être édifier de la sorte car il ne respecte pas le PLU. Nous recevons donc un arrêté de non autorisation de construction! Cependant, comme il est déjà construit...
Presque un an se passe et là, nous recevons donc ce courier de nos voisins qui louent leur maison pendant leur mission en Chine. Ils sont passés durant le mois de juillet, nous étions chez nous et ils ne sont pas venu à ce moment là pour nous dire que ça les dérangeaient!

Enfin ma question est : si nous faisons une modification de notre abris à bois pour qu'il soit "aux normes", ont t'ils quand même le droit de refuser cette construction?

Merci pour vos conseils