Intrusion du propriétaire dans une location.

Bonjour,
Tout d'abord , ma situation : Je suis étudiant à Rennes et j'ai voulus tenter le "bon plan" des chambres à louer , j'ai donc loué cette chambre d'environ 11 ou 12m² dans un duplex ou habite également mon propriétaire. Jusque là aucun soucis, sauf au moment où ce dernier m'a demandé mes clefs pour en faire un double, avec une excuse plus ou moins bidon à l'appuie ( Cas de problèmes, travaux, etc) et j'ai accepté, ne pensant pas avoir le droit de lui dire non. Depuis, il multiplie les intrusions dans ma chambre dès mes absences, se permet de regarder ce qui s'y trouve ( je retrouve des éléments déplacé, ma fenêtre ouverte et j'en passe) , ça arrive régulièrement et, croyez le ou non, ça me froisse énormément (: j'en ai touché deux mots, il trouve ça parfaitement normal et à l'air de s'en foutre au plus haut point. Pour ma part, c'est tout de même une violation de mon intimité, de mes affaires.. Enfin vous me comprendrez je l'espère.. Je trouve ça vraiment pas correct.
j'en arrive à ma question : Légal ou non ? Si "non", que faire ? Plainte?

Dans l'espoir d'une réponse, merci (: