Etats des lieux de sortie et caution

Bonjour,

J'ai eu un appartement en location pendant 5 ans.
Sur mon état des lieux d'entrée, il est stipulé en gros que l'appartement est propre mais rien n'est nickel.
Ma concubine fait l'état des lieux de sorties mi-juillet, la personne de l'agence note que la peinture du salon n'est pas très propre, qu'il manque une cloison de 2m² entre le salon et la cuisine et rien de particulier ensuite.
Il laisse ensuite les clefs à ma concubine en demandant que je lui refasse le joint de la salle de bain et celui de la cuisine et que je nettoie l'intérieur des prises électriques. Et il insiste pour que je lui rende bien les clefs dans la semaine car le propriétaire doit descendre de Paris (j'habitais Montpellier) pour voir l'appartement et la personne de l'agence pourra voir avec le propriétaire si ça plaît sans la cloison.
Je suis donc allé le lendemain faire les quelques bricoles qu'il demandait et j'ai renvoyé directement les clefs par la poste.

10-15 jours plus tard, pas de nouvelles, je lui envois un mail pour savoir si il est bien passé avec le propriétaire et si tout est ok ou si il reste des choses à faire. Il me répond dans la journée par mail que s'il n'était pas revenu vers moi, c'est que tout était bon.
Jusqu'à, tout est parfait!

15 jours plus tard, il m'appelle en me disant qu'il n'a pas les clefs de l'appartement et qu'il n'a pas pu aller vérifier ce que j'ai fait.
Je lui dis que pourtant il m'a envoyé un mail, qu'avec les codes de la poste les clefs sont bien arrivées à l'agence et lui demande pourquoi il me rappelle un mois après alors que le propriétaire devait passer 5 jours après?!
Il me rappelle 3 jours plus tard en me disant que les clefs étaient bien à l'agence et qu'il était passé voir et que la peinture et la cloison n'étaient pas faites. Il avait dit au départ qu'il verrait avec le propriétaire et que ça devrait être bon...
Je lui rétorque donc qu'il m'a dit par mail que c'était bon, qu'à la limite je serais d'accord pour participer à la cloison car je n'avais pas demandé l'autorisation mais que pour la peinture, aucunes n'étaient neuves quand je suis rentré, et quand je sors, toutes sont neuves sauf celle là que je n'avais pas refaites.

Je reçois un mois plus tard par AR, une lettre avec un devis de 2500€, une partie de loyer et une taxe d'ordure ménagère.
En gros, ils veulent garder les 1200€ de caution et que je paye 1300€ supplémentaire.
Sachant que le loyer j'ai toujours payé le montant exacte des quittances qu'ils m'envoyaient!

J'ai l'impression qu'on essaye de m'****** par tous les trous!

Je voudrais donc savoir si je suis dans l'obligation de payer cette somme exorbitante venu d'ailleurs (un artisan bien payé veut 40€ de l'heure, il va donc travailler 62h30 pour la peinture d'une pièce et une cloison de 2m², pas rapide le type) ou Est-ce que avec le mail (qu'il m'a envoyé en me confondant avec quelqu'un d'autres d'après lui) je peux les obliger à ne rien me réclamer et même leur demander la restitution totale de ma caution?

Je précise quand même que j'ai toujours payé mon loyer en temps et en heure pendant 5 ans, et que je rends un appartement plus propre et entretenue qu'à mon entrée.