Garde d'enfant et nouveau concubain

Bonjour,
voila ma situation je suis en separation avec le papa de ma fille et je me suis rapprocher de mon ex concubain qui est actuellement incarcerer pour des delits a caracter sexuel sur femmes majeur.
le papa de ma fille me menace de me l'enlever si je me met en couple avec mon ex.
ma question est:
est-ce qu'il a les moyens d'avoir la garde exclusive en mettant en avant le faite que je sois en relation avec mon ex et moi est-ce que je peux avoir des recours car pour le moment il n'y a rien de concres avec mon ex .
merci de me repondre sincerement
cordialement