Non respect du PLU pour une cloture

bonjour,

Nous avons acheté une maison il y a 3ans avec une clôture occultante (claustra bois). Nous avons décidé de changer cette clôture qui était très abîmée et d'installer un grillage en treillis soudé avec lames occultantes.
Cependant nous venons de recevoir un courrier en recommandé de la mairie stipulant que nous aurions dû effectuer une demande pour réaliser les travaux (pour ça ok, on comprend) mais précisant également que le PLU de la commune interdisait les clôtures occultantes supérieures à 1m, ils nous demandent donc d'effectuer une demande et de nous mettre aux normes.
Cela nous paraît totalement aberrant d'autant plus que la clôture précédente était occultante et supérieure à 1m et dans la commune nous en voyons d'autres qui ont été installées récemment.
Que risquons nous si on ne se met pas aux normes?