Situation acquise

Bonjour, Je suis en retraite depuis 2003 donc inactif. Ma femme enseignante a été cette même année nommée inspectrice. Notre domicile est dans le sud de l'Yonne, où j'habite en permanence depuis 2003. Ma femme a été affectée successivement à Rouen, puis à Paris et enfin à Dijon. Elle vient de prendre sa retraite. Dès 2004, pour les revenus de 2003, nous avons opté pour les frais réels qu'elle a dus supporter : déplacement-domicile dans l'yonne-lieu d'affectation, loyer du logement secondaire sur le lieu d'affectation, achat de matériel, etc ... En 2008, il nous est demandé de produire les justificatifs des frais, que nous produisons après avoir rencontré l'inspecteur des impôts qui n'a rien trouvé à redire sur la façon de faire. Idem en 2014. Mais nous venons de recevoir une notifiaction de rectificatif pour les années 2015 et 2016. Celle pour 2017 devrait arriver. Un ami me dit que nous pourrions demander l'annulation de ce(s) rectificatif(s) au prétexte de la situation acquise et non contesté depuis 15 ans. Cela est-il exact ? Sinon que faire ?