Retractation bail et frais d'agence

Bonjour,

je viens de signer le jeudi 16 octobre, un bail pour un appartement avec une agence.
Ce bail débute comme indiqué sur celui ci le 24 octobre. Je précise que le bailleur est un particulier. J'ai donc fait un chèque de frais d'agence, un chèque pour le loyer de la période du 24 au 1er novembre et un mois de caution (ces deux derniers sont à l'ordre du bailleur).

le vendredi 17, je téléphone au propriétaire pour qu'on prenne un RDV pour le vendredi 24 pour l'état des lieux et la remise des clés. Là, la proprio me dit de passer le soir même si je le désire pour me remettre les clés, et que je pouvais aménager de suite si je le souhaitais. Ce que je fis.
J'ai donc commencé à faire un bon ménage le samedi (18 octobre donc). Et là, je me suis rendu compte que pleins de chose n'allez pas: isolation phonique mauvaise, présence de locataires rampant indésirables. des choses que je n'ai pas vu lors de la visite.

En faisant quelques recherches sur le forum, j'ai malheureusement bien vu que vis à vis du bailleur, il n'y a pas de delai de retractation, cela ne peut se régler qu' à l'amiable ou en respectant le préavis de 3 mois.
mais en cas de succés avec le proprio, est ce que les frais d'agence sont définitivement perdu ou non?
Je rappelle que le bail ne débute réellement que le 24 octobre, que l'agence a déjà encaissé son chèque, mais le proprio n'a ni encaissé la caution ni le loyer du 24/10 au 1/11.

merci d'avance pour vos réponses.