Sa situation financière + garde,

Bonjour,
voilà, je me sépare de mon ami avec qui j'ai eu une petite fille qui a presque 1 an. On s'est entendu pour que je la garde chez moi le soir. je lui ai proposé qu'un week end sur deux il la prenne du samedi au dimanche car il en avait l'envie et que je ne suis pas contre qu'il la voit quand il a envie.
Et un soir il m'a dit que je pensais qu'a moi, il m'a insulté de tout les noms comme a son habitude tout çà parceque je ne lui laisse pas le vendredi soir. je ne veux pas lui laisser car sinon je la vois pas de 2 jours! lIl faut savoir, qu' il va la chercher chez la nounou, il passe de 5 heures à 7 heures avec elle, lui donne a manger. bref il la voit tous les jours, alors pourquoi, il me priverai de la voir ce jour là? Il la voit autant que moi/
moi je rentre tard du boulot je joue un peu avec elle, et je la couche, wouah!!!! super!
Bref il veut faire appel a un juge, il a déjà un huissier, il a une meilleure situation que moi il est propriétaire mais n'habite pas dans ces logements. autrement dit pour l'instant il n'a pas de toit à lui offrir.
Moi j'habite une maison en location, j'ai du mal a boucler mes fin de mois.
Il a été très violent avec moi dans le passé, et actuellement je ne peux avoir aucun dialogue avec lui sans qu'il m'insulte.
Bref il veut obtenir la garde de ma petite, sans vraiment le dire. et ne veut pas que je la vois.
j'ai des horraires de folle je termine tard le soir et j'ai vraiment peur de perdre la partie contre lui qui sors du travail tôt. vers 5 h.
Que dois je faire pour que la situation se retourne en ma faveur. Dois je accepter les menaces et me résilier a lui accorder le vendredi soir? ou dois l'affronter devant un tribunal
qu'est ce que je risque?