Remboursement du crédit d'impôt

Bonjour,
je vais vous expliquer au mieux mon problème.
En octobre 2015 nous avons refait nos fenêtres et notre porte d'entrée par un professionnel.
Donc à la déclaration de revenu de 2016 nous avons déclaré ces travaux au préalable j'avais contacté le service des impôts pour savoir s'il fallait une facture justifiant la déclaration de la transition énergétique on nous a répondu que ce n'était nécessaire. Donc nous avons touché 3091 € de crédit d'impôt suite à ces travaux mais en octobre 2017 nous avons reçu un courrier des impôt nous disant qu'il fallait rembourser cette somme car l'entreprise n'avais pas le Label RGE elle ne l'a eu qu'en décembre 2015. Nous avons fait un courrier pour leur dire que nous n'étions pas au courant de cette loi (Label RGE) et pour prouver notre bonne foi nous avons envoyé les papier de la formation de l'entreprise qui l'avait faite en octobre 2014.
Depuis les impôts nous réclame cette somme plus 10% de majoration car pour eux nous avons fait une erreur de dans notre déclaration.
Quel recours puis-je avoir?
Merci.