Dp contesté

Bonjour,
J ai déposé une déclaration de travaux pour une piscine de 18m² et un abri de jardin en bois de 19m². La déclaration a été acceptée par l architecte des bâtiments de France, le préfet, puis le maire. J ai donc reçu le courrier officiel il y'a 6 semaines.
Il y'a 3 jours je reçois un recommandé de la mairie qui m'annonce qu'il vont annuler cette autorisation car je ne respecte pas le RNU... Je pense plutôt que mon voisin a fait un recours gracieux auprès du maire car il ne souhaite pas que je la fasse, malgré le respect des 3m de distance. Il craint les nuisances sonores car j ai 2 enfants.
Ont ils le droit d'annuler cette autorisation ?
J ai 15 jours pour contester... Merci d avance pour vos réponses.