Proprietaire veut habiter dans son appartement

Bonjour,

Je suis propriétaire d'un appartement en gestion locative avec une agence. Mon locataire est parti depuis plusieurs mois et l'agence n'a pas réussi a trouver un nouveau locataire depuis pour la remise en location.
Avec Covid, je suis en télétravail et ce au moins toute l'année 2021. L'appartement étant toujours vide, j'ai change d'avis et ne souhaite plus le relouer mais m'y installer en colocation avec une copine qui paiera les factures/courses en échange.
Je ne peux pas rompre le contrat de gestion avec l'agence (clauses du contrat) avant la date butoir dans 1.5 ans, sinon ils me réclament la totalité des frais de gestion restants.

Je pensais leur envoyer une LRAR leur disant que je récupère l'appartement dans l'optique d'y habiter et que par consequent, ils devaient arrêter les publicites de location, les visites (je ne veux d'ailleurs plus qu'ils accèdent a l'appartement) immédiatement et me rendre les clés. Quant aux frais de gestion, il n'y en aurait aucun tant que j'y vis puisque aucun loyer n'est perçu.

Qu'en pensez-vous?
Ca me semblerait un peu gros mais... ai-je le droit de vivre dans mon appartement vide meme s'il est en gestion?
L'agence risque-t-elle de refuser de me rendre les clés ou de débarquer?
Que peuvent-ils exiger?