Peut on me faire résilier mon bail de force?

Bonjour a tous
J'habite un appartement de 50m carré avec 2 chambres depuis Aout 2009. J'heberge mon petit ami de puis Aout 2009 et sa soeur depuis Aout 2010. L'agence de location m'a dit que l'appartement était conçu pour 2 personnes, et que je ne pouvais pas héberger une troisieme personne. Nous sommes tout les trois étudiant et nous payons chacun le tiers du loyer. Le contrat est a mon nom. L'agence m'a menacé de résilier le contrat.
L'agence a-t-elle le droit de resilier le contrat pour ce motif??

Ps: Je paye le loyer tout les premiers du mois sans retard ni probleme.