Réavaluation du nombre de chambres

Bonjour,
Nous avons mis en location un logement avec 2 chambres. Ce bien est loue depuis plusieurs années et RAS, sauf que, depuis un contrôle caf, effectué dernièrement, la maison est considérée avec 1 chambre car la seconde ne mesure que 5,32m2. Le nouveau locataire qui chipotte pour payer son loyer exige donc une baisse de loyer. Ce couple a visité la maison et celle ci leur convenait car ils n'ont qu'un bébé. Nous avons proposé une baisse de loyer mais que faire s'ils refusent de signer l'avenant au bail? Peut on mettre fin au bail s'il refuse toujours de payer le loyer, ce qui est le cas à ce jour?
Un professionnel pourrait il nous conseiller?
Merci de votre aide
Cdlt
Al