Mauvaise raison résiliation

Bonjour,
Mon propriétaire m'a informé dans les délais qu'il voulait reprendre son appartement pour y emménager. Cependant, nous nous sommes rendu compte lorsque nous contestions le montant de la caution qu'il nous avait rendu que son ancienne était toujours valide, qu'il n'a quitté son ancienne appartement pour occuper le notre que quelques temps avant de le relouer en location saisonnière.
Nous avons par chance pu trouver un autre appartement avant la fin du bail mais s'il en avait été autrement quels auraient été nos droits? Ne doit-il pas faire de l'appartement sa résidence principal pendant un certain délai s'il nous congédit pour la raison suivante: "je reprends l'appartement car je vais y habité et ai donné mon préavis pour mon ancien appartement"

je vous remercie de votre réponse