Résiliation bail sans AR, caution perdu !

Bonjour,

Notre cas, un peu particulier, m' à fait poster cette question.

Nous sommes rentrés dans une maison en location le 1er Juillet 2008 pour un bail de 3 ans.
En Mai 2011 nous demandons à la propriétaire si nous pouvons rester encore un peu le temps que notre maison en construction soit terminée (demande verbal à notre proprio qui est aussi notre voisine) elle nous répond que oui et que le loyer ne changeras pas.

En Août 2011 nous donnons verbalement notre préavis en lui disant que nous quitterons le logement pour fin Octobre et elle nous demande de lui faire une lettre que nous donnons en mains propre.

L'état des lieux fait le 30 Octobre elle nous dit que tout est OK et que la caution nous sera versée par virement.

Au mois de Janvier, après deux relance de notre part, nous recevons une lettre qui dit qu'elle garde la caution parce que nous n'avons pas respectés les 3 mois de préavis.

Vu que tout n'a pas été fait dans les règles devons nous faire un trait sur la caution ou y a t'il une chance de la récupérer ?

Merci de votre aide.