Relocation pendant le préavis

Bonjour,

Nous avons actuellement un litige avec notre ancien propriétaire.
Nous avons mis fin au bail en septembre et avions normalement 3 mois de préavis.

Il a été convenu avec le propriétaire une réduction du préavis à 2 mois (document manuscrit signé) : octobre et novembre et pas besoin de verser le mois de novembre, car payé avec la caution qu'il garde du coup.

- Les clés ont été remises en main propre
- L'état des lieux (vierge) de sorties a été fait

Depuis le 1er novembre, une personne occupe l'appartement (à titre gracieux ou avec un bail, nous ne savons pas)
Maintenant quand nous demandons au propriétaire de nous rembourser le mois de novembre, car une personne y habite pendant notre préavis, il ne veut pas et s'il nous rembourse alors il demandera à ce qu'on paye des travaux de réparation qu'il n'y avait pas lors de la sortie (état des lieux sortant vierge).
Ce n'est pas très clair, mais il nous dit aussi qu'il peut virer la personne qui est dans l'appartement et nous redonner les clés pour nous faire payer le 3e mois de préavis.

Pouvons-nous lui demander de récupérer le mois de novembre ?
Est-il dans son droit de nous demander le 3e mois de préavis ?

Merci d'avance de votre aide.
Romain