Obligation du bailleur social

Bonjour,
je voudrais savoir comment je peut faire face à mon bailleur social qui c'est permis de raconter à des voisins qui cherche à faire des histoires (ils m'ont déjà envoyé les services sociaux à mon domicile alors qu'il n'y avait rien à signaler c'est la conclusion de ces services), des choses qui ce sont passées après ma séparation avec mon ex-conjoint, dans un logement qui appartient au même bailleur. que puis je faire pour me défendre, je suis convoquer en début de semaine dans leurs bureaux avec ces fameux voisins. le bailleur n'ayant pas respecter son obligation de respect de la vie privée. maintenant, suite à tous ça, ces gens n'arrêtent pas à la moindre occasions, de me créer des histoires. quelqu'un pourrais me renseigner ? merci d'avances.