Propriétaire souhaite reprendre son logement

Bonjour,

Je suis actuellement en colocation dans une maison avec 3 inconnues (qui refuse de donner leurs identité) et 2 autres colocataires.
Le "bailleur" souhaite récupérer son logement pour y vivre car : "son logement est trop petit".
Mais il avait déjà relouer ma chambre à une autre personne qui est venue jusqu'à ma porte et a essayé d'entrer sans mon accord.
Le bailleur à déjà pénétré chez nous (il sait ce qu'il y a chez nous alors qu'on ne lui as jamais permis d'entrer) et mis mes effets devant la maison puis remonter.
Que doit on faire ?