Mon propriétaire rentre chez moi sans autorisation

Bonjour,
Cela fait maintenant 1 an que je loue une chambre meublée chez l'habitant, mais je n'y suis qu'une semaine ou deux par mois.
Il y a quelques mois, je suis rentré chez moi et j'ai constaté que certaines affaires avaient été déplacées et mon lit vaguement refait.
Le mois dernier, avant de partir pour 3 semaines, je me suis arrangé pour faire mon lit d'une manière bien précise et j'ai pris des photos.
En rentrant chez moi, mon lit avait été refait (différent que sur les photos) et mon pyjama était par terre.
J'ai téléphoné à mon proprio pour lui demander ce qu'il s'était passé, il m'a tranquillement avoué qu'il avait "fait dormir une vieille dame dedans", que je "n'ai pas à m'inquiéter" et qu'il avait "oublié de me demander".
Je suis sûr que ce n'est pas la première fois que cela arrive et je ne me sens vraiment pas bien a cette idée. J'ai été clair avec lui en lui disant que je ne voulais plus que cela se reproduise mais je n'ai pas du tout confiance.

Ai-je le droit de changer la serrure ? (Je rappelle que c’est une chambre meublée chez l’habitant)
Si non, comment puis-je me prémunir contre cela ?
J’ai déjà déposé une main courante, cela est-il suffisant ?
Merci pour votre aide.