Declaration travaux acceptée non conforme PLU

Bonjour,
Suite à l'autorisation préalable de travaux qui a été accepté par la mairie, nous avons commencé les travaux de la maison que nous venions d'acheter. Nous avions consulté 2 fois une personne à l'urbanisme pour être sûr de faire les choses légalement. Nous n'avions par le droit de surélever mais aux dires du technicien nous pouvions réduire la pente du toit en gardant la même hauteur de faitage (et ainsi gagner du volume), ceci n'étant pas considéré comme une surélévation. Nous avons donc déclarer une réfection de toiture et avons joint un plan sur lequel apparaissait le rajout de rangées de cairons et la modification de pente. L'autorisation nous a été délivrée.
A peine 2 mois plus tard c'est-à-dire lundi dernier, notre maçon et charpentier présents sur le chantier nous appellent pour nous informer du passage de l'urbanisme qui leur a fait arrêter leur travaux suite à une "plaine" d'une tierce personne (nous apprenons aujourd'hui que c'était une lettre de "dénonciation" et non une plaine formelle).
Outre le fait que nous avions complètement oublié d'afficher le panneau (c'est grave on sait mais l'urbanisme nous a juste demandé de le rajouter, chose que nous avons fait dans la journée du lundi), la tierce personne contesterait les travaux de "surélévation" qui n'en était pas une aux dire de l'urbanisme!.
Pourtant les travaux que nous avons effectué sont en accord avec la déclaration de travaux.
Le "problème" est qu'aujourd'hui le technicien de l'urbanisme ne nous donne plus les même info que celles d'avant déclaration et que celles indiquées sur la DP.
Bilan : nos travaux sont conforme à la DP qui n'est pas conforme au PLU. Nous avons arrêté les travaux alors que l'hiver arrive et que la toiture n'est pas terminé.
Qui est responsable ? Est-ce une erreur de la mairie ? Peut-on nous demander de remettre la maison en l'état ou afin qu'elle soit conforme avec le PLU ? (chose qui va être difficile et très coûteux car le charpentier avait déjà installée toute sa charpente).
Nous avions consulter le technicien pour savoir si nous pouvions réduire cette pente, il nous a dit que oui, s'il nous avait dit que non (comme il prétend aujourd'hui), nous n'aurions pas acheter cette maison. Merci de nous aider à y voir plus clairs et nous dire ce que l'on risque alors que nous avons toujours été de bonne foi et en accord avec la DP délivrée par la mairie.
jizzo