Différent entre locataire et propriétaire

Bonsoir, je vous explique notre situation:

Nous avons loué un appartement du 10 mai 2016 au 11 septembre 2018. Lors de l'état des lieux d'entré il y avait quelques défauts dans le logement qui devait être mentionné mais le propriétaire avait déjà rempli au préalable l'état des lieux et il n'a rien voulu rajouter.
A part cela, tous se passait très bien jusqu'à juin 2018, quand nous avons demandé au propriétaire, le délais du préavis de départ pour une construction neuve.
Dès ce jour, il a commencé à nous mettre la pression, il a demandé à régulariser du loyer (augmentation par an, ce qui est normal), ne plus nous donner les quittances de loyers, et nous menacer de nous poursuivre au tribunal.
Environ 2 à 3 mois après notre emménagement, il y a eu un nouveau locataire qui a emménagé à l'appartement du dessus et à faire tous les travaux, c'est à ce moment là qu'il y a commencé d'avoir des cafards, nous avons commencé à traiter et nous avons prévenu oralement le propriétaire.
1 mois avant l'état des lieux sortant, le propriétaire nous a imposé un huissier de justice, alors que pour l'état des lieux d'entré dans le logement, il n'y avait que nous et le propriétaire.
15 jours avant l'état des lieux de sorti, le propriétaire a simulé une visite pour une future location pour voir l'état de l'appartement.
Le jour de l'état des lieux de sortie, l'huissier est venu, il a sorti un bloc note et a commencé a prendre des notes sur l'état de l'appartement et des photographies. Une fois qu'il eu fini, je lui ai demandé si on allait remplir la case de l'état des lieux de sortie sur le bail du logement, il m'a dit non, que son compte rendu ferait fois d'état des lieux de sorti, il a pris nos coordonnées pour nous envoyé son compte rendu, sous une quinzaine de jours. J'ai réglé la partie du locataire pour la visite de l'huissier, nous sommes tous sortis de l'appartement et le propriétaire a fermer le logement.
15 jours après cela, le propriétaire, nous a demandé, la régularisation du loyer pour les 11 jours du mois de septembre, et de lui avancer l'entretien de la chaudière qui n'a pas été fait ( un oublie de notre part) ce qui a été réglé.
Nous n'avons eu aucune nouvelle, jusqu'au 10 novembre 2018, ce jour là, le propriétaire nous a téléphoné pour nous demandé si nous avions eu des nouvelles de l'huissier, nous lui avons répondu que non. Il nous a dit qu'il lui téléphonerait et qu'il nous tiendrait au courant.
Le 29 novembre, nous avons reçu 3 coup de téléphone et un premier mail avec joint des devis de réparation de l'appartement et d'entretien et il nous a donné un délai de 10 jours pour lui faire une proposition décentes. Nous lui avons répondu que tous nos échanges ce ferait par mail ( pour avoir des traces écrites), et que nous allions engager notre protection juridique. S'en ai suivie d'autres échanges par mail, avec a chaque fois un nouveau devis de réparation joint au mail. Nous lui avons demandé l'état des lieux de sorti et c'est la qu'il nous a dit, qu'il faudrait que l'on paie le compte rendu comme le mentionne le courrier que l'huissier a envoyé le 08/10/2018, que nous avons jamais reçu.
Suite à cela, nous sommes allés au bureau de l'huissier et la secrétaire nous a affirmé que c'est le propriétaire qui devait nous donné une copie de l'état des lieux. Celui-ci n'a pas voulu le faire car nous réglé notre partie (ce qui va se faire demain).
Le propriétaire est même allé à notre assurance, pour leur faire croire que nous lui avions dit qu'il fallait qu'il se débrouille avec lui, et que si nous allions pas dans son sens et que nous allions au tribunal, nous avions aucune chance de gagner.

Depuis que le propriétaire savait que nous allions quitter l'appartement, il veut nous refaire faire le logement à nos frais, alors que depuis le début, nous lui avons proposé de refaire l'appartement, s'il le désirait.

Qu'es ce qu'on peut faire?

Merci par avance aux personnes qui pourront nous aider