Gardien d'immeuble logé

Bonjour,
Je suis en cdi depuis février 2022 chez un bailleur social en tant que gardien d'immeuble logé. Le logement ne me convient pas du tout la loge étant attenante au logement ils disent ne pas pouvoir m'attribuer un autre logement. Est-ce une obligation de vivre dans ce logement, rien n'est indiqué dans le contrat de travail.
Il était noté dans l'offre d'emploi contrat 40h semaine 35h de travail et 5h de disponibilité locataires soit une heure par jour. Idem rien n'est mentionné la dessus sur le contrat pas même la durée de travail, seulement indiqué cdi à temps plein. Dois-je réellement l'effectuer ?

Merci d'avance