Hébergement belle famille

Bonjour,
Je suis actuellement locataire avec mon concubin d'un appartement de 80m2 comprenant 2chambres. Je suis seule locataire sur le bail, mais il y a 3 ans lorsque nous avons pris cet appartement nous étions déjà ensemble et le propriétaire était informé que nous y vivrions à 2.
Aujourd'hui le frère de mon concubin a besoin d'être hébergé quelques temps pour raison médicale.
Mon propriétaire que je n'ai pas informé de la situation, me dit que je ne suis pas dans l'illégalité en hébergeant du monde chez moi.
Il se montre menaçant et sous-entend que je sous loue l'appartement, et que je n'ai pas a recevoir autant de monde chez moi aussi régulièrement(soit ma belle-mère et mon autre beau frere) qui sont juste de passage à la journée.
J'ai constaté qu'il était parfaitement légal d'héberger sa famille proche.
A t'il le droit de me demander de ne pas héberger mon beau frere?
Pour résoudre ce problème faut il que je demande un avenant au bail pour y ajouter mon conjoint?
Merci à vous.

Lydie