Restitution de caution:droits du propriétair?

Bonjour,
Aprés avoir étés pendant 7 ans de parfaits locataires (virements mensuels tous les 1er du mois, aucune dégradation...), et suite au préavis de trois mois fourni en bonne et due formeau propriétaire, nous avons eu la désagréable surprise de voisr qu'il ne nous restituait pas la caution en entier!!! à peine les deux tiers. Le motif avancé est qu'il "serait" en droit de revenir cinq ans en arrière sur les charges de l'appartement... et c'est donc ce qu'il fait (facture desdites charges à l'appui).
En a-t-il le droit?
Si nous avions su à l'époque que les charges augmentaient chaque année, nous aurions éventuellement pu chercher un autre logement; le fait de ne pas être au courant de ces hausses, au final , de loyer ont fait que nous sommes restés 7 ans...
Je m'interroge d'autant plus que les sur les quittances que nous lui demandions de temps en temps, lors de besoins administratifs, il y avait toujours le même montant pour les charges. Il n'a jamais pris la peine de les vérifier à ce moment là...
Enfin, au cours des sept ans d'occupation de l'appartement, il y a gagné... je m'explique: mon compagnon à monté un volet à un velux qui n'en avait pas; a réalisé un meuble de rangement pour ne pas perdre la place sous l'escalier (et nous lui avons laissé...; c'était un petit duplex) , mais surtout, avec l'accord (tu m'étonnes!) du propriétaire, il a changé toute la vieille moquette du séjour+couloir par du parquet flottant; certes, Monsieur le proproétaire nous à remboursé le matériel+fournitures (au centime prés!) mais ce fut tout, pas un geste de plus pour la main d'oeuvre...
Juste pour terminer, l'état des lieux de sortie a été, à mon sens, bâclé: il n' y est à aucun moment mentionné que la moquette à été remplacé par du parquet...
Je fus trés(trop?) longue, désolée... mais peut-on me dire s'il y a moyen de récupéré l'intégralité de ma caution?