Clause particulière dans bail d'habitation

Bonjour a vous tous,
Tout d'abord merci pour l'équipe du site puis a tout les membres pour leurs post.
Voila mon petit problème;
J'ai signé un bail d'habitation avec dans le jardin une petite maison ou les propriétaires peuvent venir une a deux fois par an , cela est stipuler dans les clauses particulières du bail, donc pas de problème pour le moment mais voila que ma propriétaire voudrait y loger pour une semaine des " amis ".
J'ai donc dit a ma proprio qu'elle n'avait pas le droit mais elle me fait comprendre que si je ne suis pas content, c'est pareil, de plus l'eau et l'électricité est relier a cette petite maison et bien sur la facture va me revenir aussi.
Ma question; quel sont mes droits et comment les faire respecter ?
Merci a vous pour vos réponses.
Cordialement.