Désistement après une signature d'un bail loc

Bonjour,

suite à une séparation, j'ai mis ma maison en vente dans une agence immobilière "x", début juillet, j'ai signé un compromis de vente avec les futurs acheteurs, la vente était prévue pour le 30 septembre. J'ai donc de mon côté chercher un logement dans un autre département. Je me suis adressé à une nouvelle agence , qui m'a proposé une location et j'ai ainsi signé le 27/08/2011 un bail locatif qui débutera au 1er octobre 2011. Nous sommes le 30 août 2011 et je reçois un coup de téléphone de l'agence immobilière "x", m'annonçant que la vente est annulée car la banque refuse le prêt, cause perte d'emploi d'un des acheteurs. J'ai immédiatement appeler l'agence afin d'annulé le bail locatif que j'avais signé, on m'a alors informé que je ne pouvais pas me désister comme ça et qu'il fallait payé 3 mois de loyer. Le problème est que je devrais continuer de régler mon prêt immobilier puisque la vente et caduque et en plus 3 mois de loyers. Merci de bien vouloir m'informer de mes droits !