Etat des lieux...ambigue

Bonjour à toutes et à tous.

Ayant préalablement cherché la réponse à mon problème sur différents sites, sans succès, permettez moi d'ouvrir ce sujet.

Pour faire simple, j'ai loué une maison en 2008 avec mon épouse.
Maison en mauvais état, je me suis entendu avec le propriétaire pour effectuer la rénovation de celle-ci en échange d'une diminution de loyer.

Sur l'état des lieux d'entrée, il est inscrit "logement en cours de rénovation". Dans toutes les rubriques
Le bail, quand à lui, me semble être un bail "spécifique" : le propriétaire s'octroie le droit de visiter le logement une fois par an pour vérifier l'avancement de la rénovation et l'état du logement.

J'ai fait beaucoup de travaux dans la maison pour une valeur d'environ 4000€ (tout les sols, murs, plafond, plomberie et isolation de toit) que je ne peux pas justifier (perdu les factures).
Il a de son coté changé toutes les fenêtres et portes pour du double vitrage, et changé la chaudière

Depuis 2011, nos relations se sont détériorées : Suite à une panne de chaudière, je l'ai contacté, il m'a dit de faire faire les réparations et de lui envoyer la facture.
Il n'a pas voulu payer cette facture car, bien que les réparations n'entraient pas dans le cadre de l'entretien à la charge du locataire; il estimait que la baisse de loyer m'engageait à la payer (bon, 90 euros, j'ai payé)

Je viens d'envoyer, aujourd'hui, la LRAR pour lui annoncer mon préavis de départ et je me pose la question de la caution (700€):
Si j'ai bien compris, un EDLE vierge est synonyme de logement impeccable.
Est ce que la mention "en cours de rénovation" m'engage à restituer un logement dans un état impeccable ?
Le problème est que l'installation du double vitrage sans aération (VMC), a engendré une forte humidité qui a taché plafonds et murs (tout est à refaire - les tapisserie et peintures ont 5 ans).

Dois-je m'attendre à perdre ma caution et/ou à repeindre/retapisser le logement ?

Merci d'avance pour vos réponses éventuelles,
Cordialement,

ZizZ71