Declaration de frais reels

Bonjour,
je travaille depuis 27 ans, je décide de ne plus louer, mais d'acheter un bien en fonction de mes moyens.
je suis obligé de partir a 70km de mon travail, je prends donc ma voiture. je fais une déclaration des frais réels et la information fiscal: redressement de 820euros. je demande pourquoi: on me répond vous travaillez la avant de partir loin, on considère cela comme une convenance personnel et non comme une obligation ou contrainte.
quelqu'un peut me dire si cela est valable, par ce que le centre de ma petite commune lui veut rien entendre.