Depart d un locataire sans respect du preavi

Bonjour,
mon locataire m'a donné en main propres une résiliation de baile pour une durée d un mois au lieu des 3 mois comme prévu par la lois. Mon locataire ne rentre pas dans le cadre de la résiliation a un mois. De plus il m annonce qu il ne paiera pas le loyer et que je garde sa caution pour ce meme mois . Je lui ai envoyé des recommandés lui indiquant qu il n etais pas dans son droit.
Nous venons d attendre la durée des 3 mois que dois je faire .
elle ne m a rendu les clefs et je souhaite aller au bout de facons a recuperer mon due .
je me demande qu elle est la procedure a suivre .
dois je allé au tribunal d'instance, il y a t il un cout .
dois je allé porter plainte pour non restitution des clefs.