Probleme quotien familial

Bonjour,

Je viens de recevoir une lettre recommandée avec AR de la part du service des impots me réclamant un rappel au titre de l'année 2009 et 2010 car je n'aurai pas du beneficier selon eux d'une demie part supplementaire. Uniquement 1 part et non 1,5 part

Je m'explique j'ai une fille qui est née en Novembre 2008 qui a donc aujourd'hui 3 ans et demi.
Jusqu'en Juillet 2010 je vivais sous mon toit en union libre avec la mere de la petite (qui avait deja 3 enfants de son premier mariage) et nous avions convenu que je déclarai ma fille sur ma déclaration et elle ses 3 premiers enfants sur la sienne (ce qui ne changeait rien pour elle car elle n'etait pas imposable deja de toute facon

Et par contre pour moi le fait de déclarer ma fille ca changeait forcement tout car avec la demie part supplementaire mes impots étaient divisés par 2.

Depuis Juillet 2010 donc et jusqu'au aujourd hui ma fille vit chez sa maman mais y a t'il un probleme a avoir déclaré pour 2009 et 2010 ma fille sur ma déclaration et donc d'avoir bénéficié de la demie part supplementaire ? Est ce normal que les impots viennent me dire 2 ans apres que finalement c'etait juste 1 part auquel j'avais droit....je trouve ca tres etrange...ce n'est pas comme si j'avais triché en declarant ma fille sur ma declaration et la mere sur la sienne...il n'en est rien... qui a raison ?

Alors 1 part ou 1,5 part dans mon cas et pourquoi ?

Merci par avance pour vos réponses.