Concubinage enfant à charge déclaré 2 fois

Bonjour,
Voilà j'ai reçu une proposition de rectification de mes impôts. La raison : ma concubine et moi même avons déclaré notre enfant sur chacune des déclaration par erreur...(Surtout que ma concubine n'a pas de revenus).
Les impôts me proposent de me retirer ma 1/2 part donc je dois leur restituer de l'argent. Puis-js aller contre cette décision, peut retirer la 1/2 part de ma concubine pour que je conserve la mienne?
Merci