Mon bailleur se place également en tant que locataire et entre sans autorisation

Bonjour,
Je suis locataire d'une maison. cette maison comporte 4 chambres. Chaque chambre posséde son propre bail. ce qui veut dire que nous sommes plusieurs colocataires avec chaqun un bail a notre nom.

sur les 4 chambres, une d'entre elle n'est actuellement pas occupé. notre propriétaire nous à dit qu'en l'absence de bail signé pour cette chambre, il est automatiquement le 4éme locataire ce qui lui donne le droit de venir dans la maison faire des visites à sa guise.

Je souhaite savoir si cela est correct?

Vendredi à 19h je recoit un message du propriétaire m'annoncant une visite le lendemain, samedi à 11h. Ce à quoi j'ai répondu que l'horaire ne m'arrangait pas et que je préférais un autre moment. Le propriétaire ne m'a pas laissé le choix en expliquant ce que j'ai cité plus haut.

Merci d'avance de vos expliquations.

Bonne journée,