Problème administratif changement de gérance

Bonjour,
Nous sommes deux associés et co-gérant d'une société de sécurité privée et de gardiennage.
L'un de nous deux doit se retirer de la gérance et restera associée à 50%.
Le problème est que notre entreprise est domiciliée chez le gérant qui doit se retirer de la gérance.
Est-il possible de garder l'adresse de la société chez lui et qu'il ne soit plus gérant?
On a contacté la Chambre de commerce et j'ai eu droit à deux avis differents;
- Un conseiller a confirmé à l'un de nous deux que c'est possible et un autre nous a dit qu'il faut absilument qu'elle ne soit plus chez le gérant demisssionnaire.
Merci de m'éclairer un peu si possible.