Pacs, absence de sexe et droit de garde

Bonjour,
j'aimerais avoir des avis de personnes hors de mon entourage sur ma situation.
J'ai eu une longue maladie et les médecins m'ont dit que je ne pourrais pas avoir d'enfant. Lorsque j'ai rencontré un homme 4 ans après ma maladie, je lui ai parlé de ma stérilité ; il a semblé compatir mais n'a pas fait de commentaire. Nous nous entendions à merveille mais n'avions pas eu le temps de bien profiter l'un l'autre que ô miracle, je tombe enceinte .. de jumeaux ! Cet homme que j'appellerai Hervé m'a forcé à avorter, j'ai refusé, il m'a chassé de chez lui où j'étais venue m'établir. On a été séparé mais il a continué à me harceler par téléphone, de loin, se servant même de tierce personne pour menacer de mort ma future progéniture car soi-disant je l'avais trompé en lui faisant des enfants dans le dos et refusant d'avorter. Les enfants sont nés après une grossesse que j'ai vécue comme l'enfer. à la naissance des enfants il est venu (après un appel de ma famille) et a commencé à avoir un comportement odieux : il refusait de me toucher ne serait-ce que la main et était très distant.
Après moultes péripéties et explications, nous avons finalement décidé d'essayer quand même de revivre ensamble. Nous nous sommes alors pacsés afin de faciliter ses démarches professionelles et il m'a promis ce jour-là que le pacs c'était une solution en attendant mais que "pour le mariage, on verra". On est tous partis pour l'étranger et tenté de vivre en famille avec les enfants qu'il a eu du mal à accepter au début car il ne s'y connaissait pas. Moi aussi je découvrais la vie de mère mais de plus en plus, je n'existais plus en tant que compagne car la situation s'est empirée, ceci, jusqu'à ce qu'il me refuse carrément ma place dans le lit et dans la chambre. je dormais n'importe où dans le séjour ou la chambre d'enfant et il me montrait une indifférence se tranformant en mépris et mots de plus en plus blessants. J'ai essayé de lui parler, j'en suis arrivée à lui faire des scènes régulières car je voulais comprendre pourquoi il me rejetait au lieu de de m'avoir entraînée dans cette nouvelle vie et forcé à tout abondonner sur le sol français (travail, appartement etc) ; je ne comprenais pas pourquoi il jouait ainsi avec la vie puisqu'il semblait faire juste un essai, ne s'impliquait pas du tout et refusait tout compromis et un semblant de vie de famille et de couple.
Les enfants ont grandi. Six ans avaient passé et il refusait toujours de me toucher, prétextant même l'impuissance alors que je voyais que ce n'était pas vrai. En même temps il m'ignorait, ne me parlait pas, montait de l'impatience et de l'agacement lorsque je m'approchais. J'ai essayé de tenir car je voulais que notre couple "marche" et que mes enfants vivent avec leur père et mère mais en parallèle je le voyais qui commençait à s'habituer aux enfants et apprécier son rôle de père. Il a alors commencé à monter les enfants contre moi, les accaparant et je me retrouvais souvent comme une étrangère dans ma propre maison. les enfants ne se rendaient pas compte et ils étaient contents car leur père déployait tous les moyens pour "me faire concurrence" auprès d'eux à la maison. Un exemple : "tenez, regardez ce que papa vous a acheté" et en même temps se moquait devant eux de ce que je faisais ou disait carrément que j'étais nulle. J'ai tenu pendant quelques années car je n'avais aucun recours (on habitait à l'étranger et il m'isolait du reste du monde), utilisait mes affaires, ma voiture mais me refusait les siennes. Pour couronner le tout, il refusait tout dialogue et se montrait en colère et violent (physiquement et verbalement) pour n'importe laquelle de mes requêtes et disait que j'étais folle mais que lui était dans son bon droit et était sain de corps et d'esprit.
De plus en plus, je voyais qu'il voulait avoir les enfants, car il est désormais facile de s'occuper d'eux et, moi, il voulait me mettre à l'écart.
J'ai finalement pu trouver un moyen de partir avec les enfants et, en regagnant le sol français, j'ai contacté le JAF qui a sorti un jugement me donnant la garde des enfants et lui un droit de visite.
Il a été furieux de ma démarche et a exigé que je lui fasse des excuses. Il vient voir les enfants pendant ses vacances mais me montre un mépris de plus en plus profond et beaucoup de méchanceté ; il me reproche de l'avoir quitté et d'avoir emmené les enfants alors que tout le temps que j'ai tenu avec lui, j'ai essayé de comprendre pourquoi il se comportait ainsi ; j'ai tenté de lui dire que pacsé ou marié, on avait en quelque sorte une obligation d'aimer et de soutenir la personne avec laquelle on était et que je n'attendais que cela de lui et non un rejet complet de ma personne, juste parce que j'avais dit être stérile et étais tombée enceinte par surprise.
Il a toujours aimé vivre isolé et les derniers temps avec lui, les enfants et moi, nous avions la sensation de le déranger dans sa vie de vieux célibatairele libre de toute contraite et fuyant les responsabilités qu'il me laissait toujours assumer toute seule. Je lui avais dit de me laisser partir s'il ne m'aimait pas mais que je voulais partir avec mes enfants car je ne voulais pas qu'ils vivent avec une autre femme. Il a refusé que je parte mais en même temps me traitait rien moins que comme une bonne à tout faire - non payée - dans la maison. Maintenant il m'en veut à mort et veut récupérer la garde des enfants, allant jusqu'à leur dire "je n'aime pas l'attitude de votre mère et si elle ne s'occupe pas bien de vous, je vous emmène avec moi à l'étranger où je travaille". Les enfants l'aiment mais ils ne veulent pas partir à l'étranger. Moi, j'ai beaucoup de difficulté pour vivre car je n'ai pas retrouvé de travail. Pour l'instant, mes enfants et moi sommes hébergés. J'ai tout perdu en suivant cet homme (au début de notre vie à l'étranger, il ne me donnait rien alors que je ne travaillais plus et j'ai perdu toutes mes économies) ; maintenant, soi-disant qu'il envoie une petite pension alimentaire, il se permet des réflexions sur le moindre de mes achats, même pour les enfants.
Il va probablement faire appel de la décision ; moi, je ne vis plus et je me sens très mal car je ne veux pas, après avoir tout perdu, perdre aussi mes enfants.