Demande conseil de Séparation quand on est en union libre

Bonjour
J'aurais besoin de quelques conseils avisé pour ma situation s'il vous plaît.
Je vis en union libre avec le père de mon fils, notre couple est brisé depuis quelques mois déjà et la vie sous le même toit n'est plus possible, aussi j'envisage de partir avec mon fils, mais lui ne veux pas que je prenne mon fils, et me menace de perdre la garde pour abandonné de domicile, selon ses mots si je décide de partir, je quitte le foyer, mais le petit reste, je n'ai pas le droits de le prendre de son chez lui (mon fils scolarisé en maternelle).
Également nous vivons sous le même toit mais je ne suis pas chez moi, c'est sa maison qu'il a acheter..
Merci pour vos futures réponses, j'ai vraiment besoin de savoir ce que je risque, il est hors de question que mon fils trinque et surtout qu'il essaye de me l'enlever.