Père se rendant insolvable pour ne payer la PA

Bonjour,

J'ai besoin de vos conseils et de votre aide si vous le pouvez. 

J'ai 5 enfants d'une première union dont 4 encore mineures. Après notre séparation, Mr n'a jamais voulu payer une pension alimentaire ni même nos dettes communes.

Il ne prend pas les enfants lors de ses droits de visite et n'échange que quelques sms par mois avec eux. 

Gagnant extrêmement bien sa vie lors de notre séparation, il n'a cessé de regresser financièrement en démissionnant à chacun de ses postes pour se rendre à ce jour insolvable. Il a de nouveau démissionné sans intention de retravailler car cela fait 2 mois qu'une procédure de paiement direct (huissier de justice) est en place. Il ne veut absolument rien payer. 

Je vis conjointement et un nouvel enfant est venu agrandir la famille l'année dernière. 

La caf m'a dit que vu que j'ai un conjoint et que mon ex mari est insolvable, ils ne peuvent rien pour mes 5 enfants. Ni recouvrement de pension, ni ASF. Je trouve cela complètement injuste... Mr se met insolvable, ne paie rien, ne travaille pas alors que j'élève mes enfants et travaille chaque jour pour subvenir à leurs besoins. 

Savez-vous si j'ai des recours pour prouver sa désinvolture ?

Puis-je faire signifier un abandon de famille alors que lui va faire valoir le fait qu'il n'a pas de ressource ?

La caf ne peut-elle vraiment rien faire sous prétexte que je sois en couple et que Mr va être insolvable ? 

Merci d'avance pour vos prochaines précieuses réponses.