Appartement insalubre et en peril

Bonjour. Nous avons loue un appartement chez un "marchand de sommeil". Nous avons porte plainte et un arrêté municipale a été fait au nom du péril du bâtiment entier. Ensuite nous avons obtenue un arret pectoral pour insalubrité dans notre appartement. Nous avons déménager- sans aide du propriétaire - mais nous avons retenue 3 mois de loyer puisque il devait nous reloger . Et aussi le depositum. L arrête préfectorale dit " Le loyer ou toutes autres sommes versées en contrepartie de l occupations du logement indument perdus par le propriétaire sont restitues aux occupants ou déduits des loyers dont ils deviennent a nouveau redevables" Nous ne retournons pas dans cette endroit - mais je voudrais savoir comment récupérer les loyer paye ? En plus le propriétaire a porter plainte contre nous pour des petits détails sans importance alors que tout le bâtiment doit etre complètement refait . Ou dois je trouver de l aide pour en finir avec ce propriétaire fou ? Merci de vos conseils