Annulation de résiliation de bail

Bonjour,
J'étais locataire dans un appartement et mon ex-propriétaire a dénoncé le bail pour y loger un membre de sa famille. Il a respecté le délai légal, 6 mois avant la date anniversaire de la signature du dit bail.
Je me suis donc mis à la recherche d'un nouveau logement. Deux mois et demi avant le terme du bail, mon propriétaire m'a envoyé un courrier avec AR, où il mettait fin à la dénonciation du bail. N'étant pas du tout interréssé pour rester dans ce logement, j'ai été me renseigner auprès de l'ADIL, qui m'a signifié que le propriétaire ne pouvait faire machine arrière de manière uni-latérale. J'ai alors quitté le logement avant le terme du bail en lui envoyant un courrier avec AR quelques jours avant mon terme (je n'étais pas tenu de l'en informer 3 mois avant, dans le cas d'une dénonciation de bail).
Aujourd'hui mon ex-propriétaire vient de m'envoyer mon dépôt de garantie en ayant retenu le reste du loyer, dont j'aurais dû m'acquiter à ses yeux, puisqu'il est revenu sur sa dénonciation.
En a t il le droit?
Que puis je faire?
Merci