Etat des lieux de sortie - depot de garantie

Bonjour,
Nous avons loué une maison de 2009 à 2013. A l'entrée dans la maison, un état des lieux écrit et très détaillé a été établi. En janvier 2013, nous avons donné congés avec prise pour effet au 01/05/2013. A la fin avril, nous avons remis les clés à notre propriétaire, lequel n'a pas établi d'état des lieux de sortie écrit car il considérait que la maison était en bon état. Il devait donc nous envoyer le chèque la semaine suivante. Le délai des deux mois étant dépassé, nous lui avons envoyé en recommandé avec AR pour mise en demeure de payer sous huitaine. 10 jours après, nous recevons de la part de son avocat (par recommandé avec AR) un courrier nous précisant que notre propriétaire ne nous paiera pas les 620 € de dépôt de garantie car la maison a été rendu dans un mauvais état et qu'il a fallu faire des travaux (facture à l'appui pour 800 €) pour mettre des nouveaux locataires dans la maison. Il nous précise par ailleurs qu'il ne nous demandera pas de payer la différence, mais que si nous contestons sa décision de ne pas nous donner notre dépot de garantie, nous pouvons saisir un avocat. Est-il dans son droit ? J'hésite à déposer une demande chez le greffier car je voudrais être sûre d'être dans mon droit. Merci pour votre aide.