Dépassement du temps permis pour une vacance : loi Besson

Bonjour ,
Mon mari et moi avons acheté un appartement en loi Besson en 2003 à Eysine près de Bordeaux qui a été loué sans problème par une agence (agence Pichet ) jusqu'en 2010. Or à ce moment là l'agence a eu des problèmes dans la gestion , les choses ont trainé et l'appartement n'a pas eu de locataire pendant un an et 2 mois puisque les travaux pour permettre l'entrée d'un nouvel occupant ont pris beaucoup de temps à cause d'une mauvaise gestion de l'agence. Donc nous avons payé les crédits les impôts fonciers et autres, les travaux et les charges pour cet appartement . Or le fisc nous réclame aujourd'hui avec les rappels le remboursement complet du crédit d'impôt obtenu avec la loi Besson, c'est - dire :
19000 euros. Nous avons sollicité un médiateur mais il semble que l' inspecteur des impôts.Ne soit pas très sensible à nos arguments même s'il reconnaît notre bonne foi.
Merci de me répondre.