Loi Pinel - locataire bailleur se déclare en résidence secondaire

Bonjour,

Le centre des impôts est revenu vers moi pour me signaler que mon locataire bailleur dans le cadre du dispositif locatif Loi Pinel déclarait le logement comme résidence secondaire. Ce qui me fait perdre tous les avantages de cet investissement. Les impôts me réclament les sommes dont j'ai pu bénéficier en crédit d'impôts dans ce dispositif.
Quel recours ? Comment puis-je être responsable de la déclaration du locataire ? Il a aussi des obligations pour pouvoir bénéficier d'un logement qui rentre dans le cadre du dispositif Pinel.
Merci pour votre aide.