Déclaration d'impôt garde des enfants

Bonjour,
Je suis parent isolé au niveau de la CAF car je vis seule avec mes 2 enfants.
Le papa souhaite déclarer les enfants en garde exclusive chez lui.
Est-ce qu'il faut que pour la CAF sur ma déclaration d'impôts les enfants soient enregistrés que ce soit en garde exclusive ou alternée pour 2016 afin de pouvoir prétendre toujours aux prestations CAF pour l'année à venir ?
Nous sommes séparés depuis début 2016, mais il veut les garder sur sa déclaration comme jusqu'à présent.
Cependant, je ne veux pas avoir à rembourser les prestations CAF perçus en 2016, ni me voir retirer le statut de parent isolé pour 2017 si les enfants ne sont pas sur ma déclaration. Et ce que cela risque d'arriver ?