Fin de bail

J'ai signifié à mon locataire le non renouvellement du bail souhaitant vendre le logement.Mais à 2mois de la fin du bail celui-ci me signale qu'il ne trouve pas de logement assez grand pour loger sa famille.Car il faut dire que lorsque je lui ai loué il était seul mais à présent il s'est mis en ménage avec une femme et ont à présent 5 enfants à charge alors que le logement loué ne comporte que 2 chambres.Que dois-je faire s'il ne quitte pas les lieux et puis-je faire valoir que le logement n'est plus adapté?