Virer un colocataire qui n'est pas inscrit sur le bail

Bonjour, d'abord merci de votre temps,

Nous avons des difficultés avec notre colocataire donc nous lui avons demandé poliment de partir mais après de multiple tentatives il refuse toujours, nous aimerions donc savoir s'il est en droit de refuser de quitter les lieux ou pouvons nous le mettre dehors et changer les serrures?

Au départ nous étions 3 amies, ont a trouvé la maison signé un bail de location avec deux des noms et l'autre en sous location.
Une première colocataire (qui est sur le bail) est partie et a été remplacé par mon copain, l'agence a été informé mais le bail n'a jamais été modifié.
Ensuite l'autre (en sous location) est aussi partie donc nous avons proposé à un ami de mon copain qui été intéressé puis nous avons encore prévenu l'agence des changements (sortie et entrée). Pas de changement de bail....
Et maintenant ce colocataire nous pose problème (craignons ses possibles réactions violentes)
Nous avons même demandé de l'aide au commissariat mais nous avons été stoppé à l'entrée, renseigné vaguement comme quoi il a des droit car il reçois du courrier et qu'il vis ici depuis plusieurs mois donc que nous pouvions pas le mettre dehors et qu'on pouvions seulement faire une demande d'expulsion qui n'aboutirais surement pas...

Si vous avez des renseignements, des conseils ou quelconque contact afin de nous aider, nous vous en remercions d'avance.