Résilation bail par le propriétaire

Bonjour,
je viens d'acheter un immeuble vétuste et je souhaite le rénové (rénovation lourde : fenetre plomberie elec etc)
il y a encore 2 logements loués et je souhaiterai résilier le bail afin de faire les travaux
peut on resilier pour cause d'inoccupation et abandon: les locataires viennent 1 mois par an pour les papier de la caf et rmi puis ils repartent dans leur pays d'origine (un peu plus au sud)
on m'a dit que c'etait possible de faire constater par huissier que les appartements sont laissés à l'abandon
( 3 visites de l'huissier à 10 jours d'intervalle) et donc de résilier le bail
merci de m'éclairer