Surloyer de solidarité est -il obligatoirement du ?

Bonjour, locataire dans mon immeuble depuis 1998, mon immeuble a souvent changé de propriétaire, mais il est toujours resté immeuble de logement "classiques". (pardon pour le terme, mais je cherche l'opposition du logement social.). Il y a environ 5 ans, nous avons encore changé de propriétaire et donc de bailleur, mais cette fois, notre immeuble est devenu logement social. Du coup, pour la troisième année consécutive, on nous réclame un surloyer de solidarité (SLS) car nos revenus sont au dessus de leurs barèmes( les enfants ayant quitté le domicile depuis 3 ans).
Suis-je obligé de payer ce SLS sachant que lorsque j'ai emménagé ici, ce n'était pas un logement social, mais une résidence privée.
Et le loyer n'a pas baissé lors du passage en logement social.
D'avance merci.