Logement de réinsertion à côté

Bonjour,
Nous louons un logement sur aix en provence depuis décembre 2016. Nous avons découvert cette année, que le logement d'à côté était en fait un logement destiné aux personnes en réinsertion.
Nous n'avons jamais été mis au courant sur ce point avant le départ de la personne qui était dans ce logement jusqu'à début septembre. Personne avec qui nous avons eu de nombreux problèmes, étant les voisins a premières proximité de ce logement. Pour en citer que quelques un : va et viens constant de personnes extérieurs, odeur de drogues dans le couloir, personnes sonnant à n'importe qu'elle heure du jour et de la nuit, nous avons même été un jour amené a appelé les pompiers... Sans parler des plaintes pour bruit de travaux en pleine nuit que nous avons reçu à sa place. Lors de son départ un ouvrier a été missioné pour retaper l'appartement car il faut savoir que lorsque une personne s'en va de ce type de logement ils cassent tout. Cet ouvrier nous alors annoncé que ce logement été attribuée à des personnes en rèinsertion. Je voulais savoir si n'ayant pas été mis au courant par l'agence lors de la location de notre logement nous pouvons avoir un recours? Aix étant une zone tendu pour la location et mon conjoint étant à présent en cdd et non en cdi comme c'etait le cas dans notre entrée dans les lieux, il est plus difficile pour nous d'espérer de pouvoir louer un autre logement.
Dans l'attente de votre retour et en vous remerciant d'avance
Bien cordialement