Accès à l'immeuble que je loue par le propriétaire

bonjour - je suis locataire d'un appartement HLM depuis janvier 1989. Ce logement dans un collectif de 2 appartements, dispose d'un garage commun aux deux appartements, dans lequel il y a 2 caves (1 par locataire) fermées à clé.
Je viens d'apprendre que mon bailleur a une clé d'accès à mon garage ; il estime qu'il s'agit d'une partie commune et y entre quand il veut.... Je stocke dans le fond dudit garage quelques cartons, les vélos, une petite remorque (avec l'accord de l'autre locataire qui dispose de la moitié du garage). Mon bailleur m'informe que désormais je n'ai plus le droit de stocker quoi que ce soit dans notre garage sauf à y garer ma voiture..... est-ce légal ??? mon bailleur a-t-il de droit d'entrer dans notre garage à son bon vouloir ?? Merci de votre réponse, références légales à l'appui si vous pouvez pour que je puisses contester, changer la serrure éventuellement.