Loyer + garantie encaissée alors que bail annulé

Bonjour,

Il y a peu, nous avons visité un appartement avec ma compagne enceinte, celui-ci était relativement sale et nécessitait des travaux. L'agence immobilière par laquelle nous sommes passés a promis de les réaliser (oralement), nous avons signé le bail le 25 mai avec une date d'installation au 11 juin et fais le chèque de loyer + dépôt de garantie + frais d'agences.

Le 11 Juin nous avons rendez-vous pour l'état des lieux. Le huissier prestataire de l'agence n'avait pas les clés..

Après un échange houleux avec l'agence, nous obtenons un rendez-vous d'état des lieux le lendemain midi. Un autre huissier arrive, un serrurier avec lui, ils font sauter la serrure.

L'état des lieux commence, l'appartement n'a pas changé, pas de travaux réalisés, et surprise, de la suie dans les ventilation suite a un incendie passé précédemment, les fenêtres qui ne ferment pas, un trou énorme dans la porte (poignée retirée). Aucun état des lieux n'a été signé.

Nous refusons l'appartement, contact avec l'agence, et après discussion, nous annulons le bail d'un commun accord et qu'ils me remboursent au 1er Juillet (J'ai laissé du lest concernant la date de paiement car j'étais déjà satisfait que le bail ai pu être annulé). Tout a été mis par écrit.

L'agence a débité le chèque, partant du principe que nous nous installerions le 11 juin. Et après contact avec eux aujourd'hui 2 Juillet ils nous disent de patienter..

Je souhaite déposer plainte, mais je ne sais pas pour quel motif.
Avaient-ils le droit de me débiter alors qu'aucun état des lieux avaient été signés et qu'aucune clé n'a été donnée ?

Merci pour votre disponibilité et les réponses que vous pourrez m'apporter.