Délai caution et location non conforme

Bonjour je vous explique mon problème en essayant d'être le plus clair possible.

J'ai loué un logement il y a deux ans (2014) auprès d'un particulier. Cette personne habitant à l'autre bout de la France.
L'appartement n'était pas vraiment propre, le frigo et machine à laver vieux et pas propres.
Sur le contrat de bail a été rajouté au stylo des frais de déplacement si le contrat de bail était résilié avant les trois ans.
Pendant la durée de la location le reproche à me faire c'est que sur un mois j'ai eu beaucoup de difficultés financières, je l'ai donc prévenu que j'allais régler en deux fois le loyer, chose qu'il a accepté. Tout était revenu à la normale le mois d'après.
Le frigo était tombé en panne, je suis allé en chercher un autre qu'il a commandé sur internet par mes propres moyens chez un distributeur.
Je lui ai signalé dès le début que la plaque électrique dis-fonctionnait. Il en a commandé un nouveau dès que je lui ai notifié mon intention de partir du logement. Même topo, je suis allé la chercher par mes propres moyens une plaque qu'il a commandé sur internet. Je l'ai installée moi même et effectué les câblages nécessaires.
J'ai changé prise d'antenne défectueuse et butées de porte.
Les étagères du meuble cuisine se sont cassées car trop fragiles, je les ai remplacées à mes frais.
Lorsque je lui ai signalé mon intention de résilier le bail avec un mois de préavis comme prévu par la nouvelle loi Pinel il m'a dis que c'était trois mois marqué sur le bail et qu'il allait jamais trouver un locataire en si peu de temps. On a donc convenu d'un préavis de trois mois.
Peu avant le départ il me dis vouloir repeindre l'appartement par une société spécialisée. Habitant à l'autre bout de la France il voulais que je remette les clés à la société, avant le rendez vous prévu pour l'état des lieux de sortie.
J'ai donc dis qu'a partir du moment ou je remettais les clés l'appartement n'était plus sous ma responsabilité. Il m'a donc transmis un email (sans signature manuelle) comme quoi le logement était sous sa responsabilité. Il n'y a donc pas eu d'étât des lieux de sortie.
Le propriétaire m'a également envoyé un devis de 400 euros par une société de nettoyage car le nouveau locataire a trouvé le logement vraiment sale après que le propriétaire ai fait l'état des lieux d'entrée avec le nouveau locataire (alors que j'estime avoir rendu le logement en meilleur étât que quand je l'ai pris). Je ne pense pas que ces 400 euros me seront facturés car on a eu une conversation téléphonique à ce sujet.
Malencontreusement sur les trois jeux de clés j'en ai perdu un, chose que le propriétaire veut me faire facturer sur la caution qu'il ne m'a toujours pas rendu (7 jours de retard). C'est la seule chose que l'on peut me reprocher.
Bien entendu j'imagine que le jeu de clé va coûter une fortune.
Je voudrais savoir quels recours je peux avoir contre ce propriétaire. C'est le 8 eme logement que je loue, à chaque fois soit on me prend de l'argent (20 euros pour une toile d'araignée, 70 euros pour des rosiers bouturés...), soit rien n'est dans les règles.
Je commence à en avoir marre.

Je vous remercie d'avance.