Parent isolé ou pas ?

Bonjour
Nous vivons en union libre et assumons chacun de notre côté la charge de nos enfants respectifs, majeurs et étudiants, qui ne vivent pas sous notre toit et ne vivent pas non plus ensemble (auxquels il faut donc payer des logements en location).
Jusqu'à présent, nous avons demandé à bénéficier chacun d'une demi part supplémentaire, pour parents isolés.
Aujourd'hui, le centre des impôts nous conteste le bénéfice de cette demi part et nous réclame l'impôt correspondant pour les deux années fiscales passées.
Dans la mesure où nous assumons totalement la charge de nos enfants respectifs et où il n'y a aucune synergie possible, où nous ne sommes ni mariés ni pacsés, ne pouvons nous pas contester ce redressement ?
Merci pour votre réponse.