Travaux déclarés non conformes par l'urbanism

Bonjour,
Nous avons demandé et obtenu une autorisation d'ouverture au mois de juin pour aménager un grenier en chambre complétant un appartement qui a été lui même aménagé à partir d'un grenier 6ans auparavant .Pour ce premier aménagement nous avions demandé l'autorisation d'ouvertures obtenue alors mais avions indiqué comme destination des travaux ouvertures dans un grenier .
Les services de l'urbanisme ont effectué une visite à notre domicile cette semaine et en notre absence ils sont venus constater la conformité des derniers travaux .Or ces derniers travaux sont conformes à la demande effectuée .Les services de l'urbanisme prétendant que nous avons aménagé tout l'étage au lieu d'une seule chambre .Nous disposons de certaines des factures attestant de la date très antérieure des travaux .Que risquons nous ?et comment se défendre efficacement