Abri voiture et respect distance clôture

Bonjour, nous avons construit un abri voiture sans savoir qu'il fallait une autorisation mais en demandant aux voisins si ça les génaît. Lorsqu'il a été terminé, nous avons reçu la visite du policier municipal nous indiquant qu'il aurait fallu demander l'autotisation. J'appelle la mairie qui me rappelle en même temps les limites par rapport à la clôture soit 1m50 entre les poteaux et la limte de propriété (avec 1.20m maximum entre le poteau et la sous-toiture). Je leur indique clairement que l'on est seulement à 1m et m'autorise tout de même à déposer une autorisation. Quelques jours après, nous recevons une lettre recommandée pour nous indiquer que les distances ne sont pas respectées. Donc je prends rendez-vous et l'on me dit que je peux redéposer une autorisation, qu'ils ne viendront pas mesurer mais si je ne fais pas le nécessaire, il y aura toujours un risque que quelqu'un vienne se plaindre et alors les conséquences seront plus graves sans me dire lesquelles. Donc notre souci est que risque t'on si on ne se met pas en conformité sachant que les voisins ne posent pas de problème et que même si on mettait le poteau à 1.50 de la limite, le débord de toit arriverait au même endroit donc aucune modification pour le voisinage. Merci.