Litige avec les impots

Bonjour,

nous avions une maison en scellier depuis 2009. Le contrat de bailleur se terminait en nov 2018, nous avions des locataires en place mais comme nous voulions vendre la maison après la date du contrat de bailleur,

nous avons prévenu 6 mois (càd en fév 2018) avant  la date anniversaire pour le renouvellement du bail, ( càd aout 2018),  les locataires que nous mettions fin au bail afin de pouvoir vendre la maison. les impôts aujourd'hui nous reproche une vacance de 4 mois et  demi avant le terme du contrat et nous impute la responsabilité en nous disant que la vacance n'est pas accepté si c'est le propriétaire qui arrête le bail.

comment peux ton récupérer son bien si on doit d'un coté respecter les 6 mois pour prévenir le locataire que le bail ne sera pas renouveler et que la vacance n'est pas admissible si elle est à l'initiative du propriétaire? 

sachant que l'on doit respecter les 3 règles à savoir 

logement en état d'être loué

pas de location précaire 

pas de location à un descendant ou ascendant

on nous reproche l'absence d'initiative de notre part pour relouer mais si je sais que je veux vendre la maison je ne peux donc pas faire de bail précaire 

merci pour votre aide