Interdiction d'héberger quelqu'un ?

Bonjour,

Je loue un petit meublé chez un particulier. Ce meublé est accolé à la maison particulière.

Mon contrat de bail est conclu pour une durée indéterminée et dans ce contrat il y a une clause qui stipule que "le locataire s'engage à vivre seul et qu'il n'a pas le droit d'héberger de façon temporaire ou permanente d'autre personne"

Le petit soucis est que j'ai hébergé une amie 4 jours et que cela n'a pas plus au proprétaire.

Est-ce que cette clause est légale ou puis-je la contester?
Si cette clause n'est pas légale et que je lui fait savoir, pourra t'il casser mon bail sachant que celui-ci est à durée indéterminée?

Merci