Paiment des charges chambre chez l'habitant

Bonjour,
Propriétaire d'une trop grande maison, je loue une chambre meublée pour arrondir mes fins de mois. Je n'ai pas besoin de déclarer cette location car elle rentre dans la tolérance légale limitée à 121euros/m2/an en province.
Depuis trois mois, j'ai un nouveau "colocataire" (puisque nous partageons toutes les pièces de la maison, sauf nos chambres respectives).
Il s'avère qu'il n'a pas voulu de bail mais que nous avons convenu : d'un préavis d'un mois de part et d'autre, qu'il me verse un mois de caution d'avance, et paye la moitié de la facture d'eau et d'edf. Je me charge de payer l'internet, la redevance télé, les impôts locaux et le bois qui chauffe les pièces communes à vivre.
Or cette personne m'a payé le dernier mois très en retard (toujours en liquide ou avec des chèques à d'autres noms que le sien) et reculait toujours le paiement de la caution. Perdant confiance en lui, ce mois-ci je lui ai demandé de partir, ce qu'il a accepté et il a même déjà déménagé.
Hier j'ai reçu la facture d'edf et lui ai demandé de payer la moitié, mais il ne veut pas prétextant que par moments il n'est pas là (moi non plus du reste car je voyage de temps en temps).
Que puis-je faire pour obtenir sa part de paiement ? Ai-je des recours légaux sans avoir signé de bail ?
Ai-je le droit de changer les serrures en son absence et de me débarrasser des affaires qu'il n'est toujours pas venu reprendre ? (il est déjà parti vivre ailleurs).
Merci de bien vouloir m'éclairer car maintenant j'ai peur de cette personne qui se trouve de plus en plus louche.
Je vous remercie de bien vouloir m'aider.