Trop percu rmi

Bonjour,

Après un divorce je me suis remis avec mon ex femme de façon épisodique ( vie commune, séparation, vie commune etc..), pendant cette période, elle touchait le rmi. Suite à un contrôle de la caf, on me réclame un trop perçu de rmi, pour cette période, depuis je suis à nouveau séparé, je ne comprends pas pourquoi c'est à moi de rembouser ce trop percu?