Colocation : caution rendue partiellement

J'ai quitté ma sous location qui est une colocation en prévenant donc le signataire du bail. Le délai était plus court que prévu. Le locataire a vite trouvé une remplaçante qui s'est installée dans le salon en attendant que je quitte ma chambre. Je partais donc un samedi et mon locataire m'a certifié qu'il me verserait ma caution le dimanche soir pour que je la reçoive au plus vite le lundi.
C'était un geste de sa part, je n'ai même pas eu à négocier. Il a également prévenu qu'il ne serait pas là pour l'état des lieux, mais que cela ne posait pas de problème. J'avais juste à laisser les clés sur le, meuble d'entrée. Plusieurs jours passent et la caution ne m'est toujours pas versée. Je demande alors à mon ancien colocataire ce qu'il en ai. Il me répond que je n'ai pas laissé ma chambre propre ( l'aspirateur était passé mais pas la serpillère). Me disant que ce n'était pas correcte. Et aussi, me reprochait d'avoir quitté la colocation avec un préavis assez court. Et au final, m'informa que la nouvelle colocataire n'avais pas encore réglé sa caution ni sont loyer (voilà la vrai cause). Ma caution était de 460 euros. Il m'a versé 350 euros en me disant que je devais lui renvoyé l'état des lieux initial ainsi que le papier indiquant le montant de la caution pour qu'il me restitue le reste soit 110 euros. Chose que j'ai faite. Nos rapport se sont très vite dégradés après ces échanges houleux par mail, SMS. Il réclame en plus ma nouvelle adresse. Chose que je refuse car je ne veux pas qu'il connaisse mon adresse actuelle car je ne veux en aucun cas qu'il surgisse devant chez moi ou qu'il me harcèle. La somme n'est pas gigantesque mais elle m'appartient. Comment puis-je obtenir mon dût ?