Litige avec notre ex propriétaire... HELP!

Bonjour,
Durant la période mai 2009 à juin 2010 nous avons vécu dans un logement type T3,
On a fait un contract avec une agence (Alliance) qui fournissait la somme de la caution(450euros) que l'on pouvait remboursé tout les mois. Le propriétaire nous avais affirmé que ce n'était que pour la caution.

Nous avons décidé de quitté le logement fin mars 2010, nous avons envoyé une lettre recomandé à l'adresse ou nous envoyons les chèques du loyer et le courrier nous est revenu, apparement le propriétaire n'était pas aller le chercher puis d'après lui ce n'était pas la bonne adresse. J'ai donc mis le courrier directement dans sa boîte aux lettres (c'était une erreure je sais, de le mettre sans faire de photocopie avant. Il y avait une personne avec moi pour témoigné que je l'ai bien mis.) Ensuite on déménage et l'état des lieux c'est faite en même temps que la remise des clefs sous présence de témoins, mais le propriétaire ne nous a remis aucun papier. (je précise que c'était notre premier appartement, et que nous ne savions pas comment procéder.)

A ce jour, le propriétaire a déclaré à l'organisme Alliance que nous avions quitté les lieux sans lettre et sans l'avertir et que nous aurions mis les clefs dans la boîte aux lettres (il se serait rendu compte fin août 2010.)
Il a rélcamé à Alliance les loyers de juin à octobre 2010 pour lui il a compté fin août comme date de départ et jusqu'à octobre en préavis. Alliance leur a fourni la somme qui est de presque 3000 euros sur simple déclaration de sa part, et sans nous en avertir.

Il y a quelques temps nous avons recu un courrier réclamant cette somme et malgré nos explication ils nous demande de payer car nous n'aurions pas de preuve d'avoir quitté physiquement ce logement.

Notre question est la suivante:

Comment faire pour retourner la situation?
Nous somme tombé dans une arnaque et ne savons pas comment nous en sortir.
Merci d' avance