Utiliser la caution comme loyer

Bonjour,
j'ai déménager il y a2 mois, nous attendons donc notre caution, nous appelons l'ancien bailleur (H.L.M) qui nous dit qu'il a utiliser la caution pour payer le mois de loyer qu'il restait à notre charge, surprise car j'avais convenu auparavant un accord avec qui disait que je paierai ce loyer restant en 2 mensualités, et au lieu de ca et j'ajoute que sans prévenir, il s'autorise a prendre notre caution comme mois de loyer malgré notre accord, la caution est un garantie en cas de deterioration du logement et le loyer est un loyer!! est ce légal????