Colocation, le colocataire ne veut pas partir

Bonjour,

Je suis locataire seul sur bail depuis plusieurs mois, en accord avec mes propriétaires, pour ne pas s'embêter avec des papiers. Ils sont OK avec l'idée de sous location légale, donc, d'un coloc à l'autre, on voit, quand l'un a besoin de caf par exemple, on fait les papiers, mais certains ne le demandent pas forcément, donc je ne les dérange pas à ce moment là... 

Malheureusement, cela ne se passe pas bien avec mon dernier coloc.

Après lui avoir gentiment expliqué que sa façon de vivre ne m'allait pas, et que dans l'annonce tout était très clair, et que donc ce serait cool qu'il trouve un autre endroit, ou coloc, il devient très violent (verbalement). Mais surtout, il ne veut pas partir. Il traîne la pâte, évite la discussion, m'accuse de le harceler... 

Je ne sais plus quoi faire. Dernièrement, il fait exactement ce que je lui ai décrit comme étant les causes de mon souhait de ne pas continuer (en gros, je passe derrière en permanence et pour tout). 

Il paie son loyer par virement depuis quelques mois maintenant, et à son nom sur la boîte aux lettres, j'ai toujours fait en sorte que ce doit très sain malgré le manque de papier, sachant que les propriétaires sont d'accord. 

Que dois-je faire pour le faire quitter l'appartement s'il vous plaît ? 

Merci (c'est en France)