Plus de 40km trajet domicile travail

Bonjour,

J'ai reçu une lettre des impôts me demandant de justifier mes frais reels et surtout les frais kilométriques.
Je vous explique ma situation:
Après la séparation d'avec ma conjointe, celle ci s'est éloigné avec notre enfant avant le jugement.
J'ai déménagé au plus vite a mi distance entre mon travail et sa nouvelle résidence pour avoir un droit de visite étendu 1we sur 2 et 1 mercredi sur 2......que j'ai obtenu au jugement.

J'ai donc déclaré a partir de ce moment 70 km aller et 70km retour pour aller travailler.
Je sais très bien qu'il est admis sans justificatif 40km aller mais dans mon cas je pensais que c'etait clairement pour garder le lien familial avec mon enfant et il y a une circulaire qui parle de ça assez vaguement ainsi que sur l'appréciation pragmatique de situations particulieres par l'administration.

Je pensais être dans ce cas, surtout avec les efforts financiers que cela me demande , mais en appelant les impôts auj pour avoir d'autres précisions, la personne m'a dit que je n'avais pas la garde de mon enfant ni une garde alternée et que je n'avais droit qu'à 40km aller et 40km retour et que c'était clairement un choix d'ordre personnel..

Je suis un peu dégouté, suis je vraiment hors la loi?
Que puis je faire?

Merci