Congédier locataire pour travaux

Bonjour,
Nous louons une maison depuis un an ; maison qui date des années 70 dans laquelle nous avons changé les fenêtres , installer une vmc et divers rafraichissements.
le locataire en place se plaint toujours pour le moindre petit détail en nous proférant des menaces diverses.
Ma question est la suivante : ne pouvant le congédier (car il paie ses loyers régulièrement, heureusement!!!!) peut on ropmre le contrat de bail si nous prevoyons de faire des travaux ? (isolation des combles entre autre)
Merci de m'aider car c'est notre premier locataire et malheureusement cela ne nous encourage pas à continuer.