Litige location

Bonjour,
J'ai signé un bail antérieurement, mais le jour de l état des lieux d entrée, j'ai refusé l appartement parce que très vétuste, la personne de l agence a écrit sur le papier l annulation de l état des lieux d entrée, j'ai donc écrit un courrier pour annuler le bail.
Dois je payer quand même les trois mois de préavis, malgré que je n'ai pas les clés par le fait.
Merci pour votre réponse.