Rétractation de bail

Bonjour, ayant des problèmes avec notre propriétaire, la personne de l'agence est venue à notre domicile le 31 janvier pour nous proposer d'autres logements et avons signé un bail le 3 février prenant effet le 15 du mois. Pour des raisons personnelles nous voulons nous rétracter mais l'agence refuse. Nous n'avons pas signer de préavis pour le logement actuel, ni fait d'état des lieux du nouveau, ni fait de changement d'adresse pour l'assurance habitation, est-il possible de rendre le bail caduc ? Tout en sachant que l'agence m'a dit que le préavis avait déjà était mis en route... Merci de vos conseils, cordialement.