Mon Ex femme veut me dechoir des droit parent

Bonjour,
Voilà j'ai une situation un peu compliqué et j'aimerais vos avis et/ou des conseils.
Je ne peut faire un roman je vais donc essayer d'être concis.
Bon alors je suis Pêre divorcé de 2 enfants.
J'ai divorcé à l'amiable en 2007. A l'epoque je travaillé avec un salaire de 1600€ net / mois (ha la belle vie).
Avec mon ex femme on avait decidé de mettre 300€ de pension alimentaire sur le jugegement qui à été accepté comme cela.
Chacun de nous deux est parti avec ses credits et j'ai laissé le lgt familiale pour que les enfants est leur chambre. J'ai du donc me trouver un lgt.
La même année j'ai été licencié et je me suis retrouvé dans la "muise" et comme j'etais tout seul j'ai n'ai pas pu payer la PA. (je suis tombé en depression, limite suicidaire).
Au debut je voyais mes enfants chez mon ex, puis en ayant retrouvé une compagne les enfants sont venu chez ma compagne (enfin chez nous).
Le temps est passé et tout doucement j'ai pu retrouver un travail fixe (il m'as fallu du temps) et donc j'ai pu enfin commencer à donner de l'argent (même si pas reguliarment) à mon ex.
Entre temp j'ai fait aussi un dossier de surendettement car j'etais harcelé par les huissiers de justices , j'ai mis aussi tout le retard de paiement de la PA (Du mois de fevrier 2007 pour 26 mois).
Aujourd'hui normalment je devrais payer 216€ de PA en retard (jugegement de la BDF) + le 300€ de la PA Classique; mais c'est impossible car je ne gagne que 1300€ net / moi et ma situation à bien changé depuis la siganture de mon divorce (naissance d'un enfant supplementaire).
Aujourd'hui mon ex femme me "menace" plutot mon ex genre; il veulent me porter en justice suite à mon retard pour la PA et parce que je ne lui donne que 150€ de la PA irreguliarment je l'admet. (Si je pouvais faire plus je le ferais...).
De plus elle m'as carrement demandé de me destituer des mes droits parenteaux car elle insiste sur le fait que je m'occupe mal des enfants.
Que puis-je faire? Je vient d'envoyer un courrier au juge mais je me rend compte que j'aurais du l'envoyer il y'a 3 ans (j'ai fait confiance et honettement j'ai jamais pensé que la situation puisse on arriver la).
Le probleme c'est que eux (surtout l'ex genre) ont les moyens financier de me mettre la pression avec un avocats. moi j'ai pas d'argent pour m'en payer un.
Bref ça me stresse, en plus elle n'as jamais respecté le jugement car j'ai tjrs du aller les chercher alors que dans le jugement c'est ecrit qu'il fallait qu'elle me les amene et que moi je le ramene.
J'ai les ai jamais eu à Noel par contre si je ne pouvait pas le prendre dans d'autres vacances c'etait la fin du monde.
LE pire qu'elle m'as fait c'est quand ma compagne etait à l'hopital pour la naissance de ma derniere j'avais mes autres enfants, j'ai lui est demandé de le recuperer mais elle n'as pas voulu pretextant qu'elle ne pouvait pas le reprendre.
Ma compagné c'est retrouvé tout seule à l'hopital car moi je n'avais personne à qui le confier !!! C'est la mêre qui à du faire 600km pour rester au chevet de sa fille.
ça fait deux ans qu'elle me pourri la vie car elle choisi tjrs le weekends ou je peut les avoir alors que dans le jugegement c'est bien noté que c'est le 1er et le 3eme weekend du mois.
Bref je n'en peu plus et ça me ronge.
J'attend vos avis et conseil.
Merci