Mon ex peut-il avoir la garde de ma fille

Bonjour, j'ai une petite fille de 5ans dont j'ai la garde.son père et moi sommes séparés depuis plus de 4ans et il ya eu un jugement qui me donne la garde de l'enfant et lui le droit de la prendre les week-ends et la moitié des vacances.
cela fait plus d'1 an qu'il est parti vivre dans le vaucluse car il travaille en suisse.
depuis il ne viens que la voir 1fois par mois et ne prends meme pas de ses nouvelles.
l'an dernier il s'est marié. moi aussi j'ai refais ma vie et j'ai un fils de 4mois.
depuis que je suis avec mon conjoint, le père de ma fille à di à 1 connaissance qu'il veut m'enlever la garde de ma fille car selon lui elle ne serai pas heureuse.
ce qui n'est pas le cas!!!! ma fille se porte tres bien , d'ailleurs nous avons recement eu la visite d'un assistant social et d'un puériculteur qui n'ont constaté aucun problème dans notre famille. ceux-ci trouvent que ma fille àa tres bien accepté la naissance de son petit frere.
je souhaiterais savoir ce qui risque de se passer si mon ex reclame la garde de ma fille.
pensez vous qu'il aurai des chances de l'avoir???
merci d'avance de m'aider.