Logement insalubre

Bonjour,

pouvez-vous me conseiller depuis un mois je me bas avec l'agence et le propriétaire de mon appartement, en effet chacun ce relance la balle et prennent en aucun cas leurs responsabilité, notre appartement est victime de moisissures et salapetre et champignonp, au moment des faits les propriétaire était en vacances au maroc et l'agence as dit " je vais pas déranger les propriétaire pour ça " il préfère ce de dorer au soleil et que notre santé ce dégrade, ma question quel sont nos droit en tant que locataire, avons nous le droit de bloqué les loyer, ou faut qu'un expert passe afin de placer l'appartement insalubre pour pouvoir bloqué les loyers ? et j'ai entendus que je pouvais m'adresser a la direction departementale des affaires sanitaires et sociale, et au préfet qui peut mettre en place des mesures d'urgence et qui autorité des mesures , merci de vos réponses.