Litige sur mon état des lieux de sortie

Bonjour,
Je viens de faire mon état des lieux de sortie de mon appartement que j'occupais depuis 16 ans. j'y ai émis des réserves car le propriétaire cherche à ne pas me rembourser ma caution, alors de 4400 francs.
Lorsque je l'ai pris il y a 16 ans, il venait d'être refait (du moins les murs et les robinetteries).
Maintenant, les murs sont tachés à certains endroits (derrière ou autour des meules), mais dans un état général plus qu’acceptable.
Il n'y a pas de trous, pas de carrelage brisé ni de carreaux en mauvais état dans la salle de bain ou dans la cuisine.
Une erreur de ma part : lors de l'entrée dans mon appartement, le WC était félé (fermeture du dessus), le propriétaire de l'époque me disant qu'un ouvrier avait dû s'appuyer dessus un peu fort. Par contre, il ne l'a pas indiqué sur l'état des lieux et , naïve à l'époque, je n'y ai pas prêté attention. Un peu plus tard je recolai juste les deux morceaux.
la pesonne étant venu faire l'état des lieux me le reproche maintenant.
Elle a également noté que le distributeur de papier toilette de l'époque avait disparu.
Elle m'a donc laissé entendre que je ne serai pas rembourée de ma caution. Pour elle, j'aurais dû rendre l'appartement comme neuf.
Je ne suis pas d'accord car je pense qu'après 16 ans, l'appartement est tout à faire propre et apte à être reloué, et que, comme tous les appartements, il a pris de l'âge et la vetusté doit rentrer en compte.
D'autant plus que je quitte cet appartement car pour moi il est devenu invivable.Tous les ans il y a des infiltrations d'eau (je suis sous les toits...), et l'h'iver dernier tous les cannis qui servaient d'isolation sont tombés sur mon plafond ! Il y a également des choses qui tombent dans le conduit de cheminée. Maintenant j'ai développé une appréhension qui me vient à chaque fois que j'entend le moindre bruit dans cet appartement.
Je voudrais savoir si le propriétaire a le droit de prétendre à me retenir ma caution. Il aurait voulu que je refasse l'appartement à neuf comme il l'était (mais mal fait !) il y a 16 ans.
Je pense qu'il a simplement prit de la vetusté, comme tous les apaprtements (d'ailleurs la baignoire commence à rouiller...).
Pourriez-vous me dire qui pourrait avoir raison ou tort ? merci