Droit du proprio en coloc

Bonjour,
Je vis en colocation avec 2 autres personnes Depuis 6 mois. Le probleme vient du propriétaire : à défaut de 3 à 4 visite par semaine , dans les communs et pour récupérer son courrier je trouve très genant de le croiser aussi souvent ( il est très collant toujours a l'affût de ce qu'il se passe dans la maison ) je lui ai déjà fait la réflexion , en vain .. Que faire ??