Rembousement pension alimentaire

Bonjour,
Je viens de recevoir un courrier de la CAF qui me réclame le remboursement d'une pension alimentaire, ors pendant cette période là je versais une pension alimentaire en sachant que j'étais en fin de droits au chômage et qu'avec mon ex femme on avait convenu que je lui léverai 50 euros par enfant. Sauf erreur, en étant en fin de droit au chômage je n'aurai même pas du lui donner de pension. Il a fallun que j'emprunte de l'argent pour payer celle-ci Pourriez-vous me dire quel recours puis-je avoir?