Lettre préavis directement au propriétaire et non à l'agence

Bonjour,

Ayant résilié le bail en cours au mois d'août 2013, j'ai adressé une lettre recommandée de résiliation de bail pour le mois de novembre 2013 (soit 3 mois avant).
Je l'ai adressée directement au propriétaire et non à l'agence en charge de la location.
Le propriétaire à bien retiré la lettre recommandée et à fait le muet.

C'est à dire qu'il n'a rien dit ni à l'agence ni à moi en me disant de me retourner vers l'agence.
Maintenant, l'agence me dit que le préavis ne valait rien et qu'il faut que je leur redonne congés maintenant (donc du coup je repars pour 3 mois de préavis).

Quels sont mes recours ?

J'ai certes commis une erreur en donnant congés directement au propriétaire mais lui aurait dû soit signaler à l'agence ou à défaut m'en parler...

Merci d'avance de vos réponses.