Demande de garde totale pour ma fille

Bonjour,
Je viens vers vous pour vous demander de l'aide/des avis/ des conseils/ des adresses ...
Je me suis séparée de mon conjoint en novembre 2013 et notre fille aura 10 ans dans quelques semaines. Elle vit avec moi en pseudo "garde exclusive" (un week end sur deux + tous les mardi soir au mercredi fin de journée + la moitié des vacances) depuis le début . Il n' a jamais fait de demande de garde quelconque.
Je précise qu'il ne m'a jamais versé la moindre aide ou pension car selon lui "j'ai eu envie de partir donc j'assume".
Nous nous sommes séparés car notre relation n'était plus envisageable, nous ne nous entendions plus , (de plus j'avais rencontré quelqu'un et j'ai préféré le quitter avant de débuter quelque chose avec cet autre personne.) Je précise que nous n'étions ni mariés ni pacsés.
Durant les premiers temps de séparation il a très mal pris mon départ, ne cessait de venir chez moi pour x ou y raison, me menaçant de briser la famille/de tuer l'autre personne si nous avions une histoire ensemble (j 'ai à ce titre déposé une main courante en commissariat). Il a été jusqu 'à me suivre et s’arrêter sur un parking où je discutais avec l'autre personne. J'ai du de nouveau appeler la gendarmerie afin de le faire partir car il parlait de le "crever".
Cet épisode a eu lieu alors qu'il revenait , je ne l'ai appris qu'après , de chez sa nouvelle amie (soi disant pour m'oublier , il l'a quand même installée chez lui pendant 15 jours , puis elle a re démenagé avec ses deux filles de l'âge environ de ma fille. )
Il a rencontré une nouvelle amie , depuis un an et habite avec elle et sa fille à elle, à 20km de chez moi.
J'ai depuis entamé une histoire avec mon nouvel ami , l'autre personne. Ma fille l'apprécie beaucoup , me pose beaucoup de questions sur lui et ses enfants qu' elle a très envie de connaître. Nous n'habitons pas ensemble mais l'envisageons et recherchons une maison à acheter ensemble.
Or mon ex conjoint m' a de nouveau menacé ce matin lors d une conversation téléphonique de faire une demande de garde totale pour ma fille car je le cite "il est hors de question que ma fille vive avec ton gros porc"

Je suis perdue; selon vous en a t'il le droit?

Je sais qu un juge s'appuiera sur du factuel et sur le bien être et l'intéret de l'enfant.
Cela fait deux ans que je m'occupe (et assume financièrement ) en grande partie seule de ma fille, mes parents prennent le relais pour le midi et quand je travaille (je suis enseignante titulaire en cdi en lycée à 4km de mon domicile et ai donc un emploi du temps assez souple , mon ex conjoint lui est en invalidité depuis la naissance de notre fille mais a pourtant insisté à ses 6 mois pour qu'elle ait une nounou, pour la mettre à la cantine dés la deuxieme année de maternelle car "cela lui coupait sa journée d'aller la chercher et la ramener" (il ne travaillait pas) ).
Ca fait deux ans que nous avons construit un équilibre dans notre vie , que j'essaie tant bien que mal de préserver l'intérêt et l'équilibre de notre fille , que je rame pour qu'elle ne manque de rien. Je ne veux en aucun cas la priver de son père ni lui de sa fille, mais je sais que notre fille est satisfaite de notre fonctionnement , qu' elle s est construit des repères depuis deux ans et qu' elle ne souhaite pas changer la situation, mais elle craint son père et ne lui dira pas cela.

J'ai encore tellement d'autres exemples mais je ne vais tous les citer ici .

Mais en résumé je suis partie car j'avais peur de lui et finalement je me rend compte qu' une conversation a fait renaître cet horrible sentiment .

Merci d'avoir pris le temps de lire