Pouvoir du garant ?

J'ai une inquiètude : mon garant a-t-il le droit d'exiger de pouvoir rentrer chez moi quand il le souhaite ? A savoir que cette personne est mon ex-compagnon avec qui j'habitais... Le bail était à nos deux noms lors de notre entrée dans l'appartement en 2012. Puis en 2013 , il s'est désolidarisé en donnant son préavis, mais s'est porté garant, afin que je puisse rester dans les lieux car mes revenus étaient insuffisants.
Or aujourd'hui, la situation s'est gâtée, car j'ai souhaité vraiment la séparation, il habite ailleurs, mais persiste en prétendant qu'il est garant et a le droit d'aller et venir dans mon appartement !
Il n'a plus les clefs pour rentrer dans la résidence.
Que dit la Loi ? Le garant a-t-il le droit de pénétrer quand il le souhaite chez moi alors que mon loyer est à jour ainsi que toutes les dépenses concernant mon lieu d'habitation !
Cordialement,
Ambroisine54