Contrat de location annulé avec une agence immobilière

Il y a quelques jours, j'ai signé un contrat de location avec une agence immobilière, nous nous sommes engagés avec des chèques de caution, frais d'agence etc.. et après avoir de nouveau visité cette maison (parceque la 1ere fois cela s'est fait trop rapidement), et son environnement, nous avons été déçus de constater que cette maison ne possédait aucune dépendance (compte tenu de mon volume d'affaire personnelles),des lacunes dans le mobilier et l'électroménager (pas de lave linges) (elle est censée être louée meublée). Un portail d'entrée difficile d'accès, un voisinage avec une meute de gros chiens qui souvent sont dehors, et un Propriétaire qui ne veut aucunement s'investir quant à certains travaux que je lui demandais.
De ce faite, avec mon épouse, nous avons annulé ce bail, nous allons récupérer les chèques de caution, loyers d'avance, au propriétaire, mais nous ne pouvons pas récupérer le chéque à l'agence immobilière d'environ 1 demi loyer. (soit disant frais d'agence et constitution du dossier). Alors que nous n'avons pas habité cette maison.
Ma question est la suivante : EST-CE NORMAL dans le cadre de la jurisprudence ?