Garde exclusive

Bonjour,
Je suis jeune maman de 21ans, et j'ai un petit garcon de 3ans, le pere ne m'a jamais donné de pension ni rien que ce soit habits, couches ou quoi que ce soit en 3ans. Je vivais chez ma mere mais depuiis 2ans j'ai decidé de prendre mon independance. Et lui depuiis septembre il a pris un appartement avec sa copine.
Je ne travaille pas encore mais ca ne serai tarder d'ici le debut d'année 2013. Mon fils est scolarisé depuis septembre dans la commune ou j'habite. Donc je vis des allocations familiales et vis en HLM. J'ai demandé a plusieurs reprises d'etablir une pension a l'amiable et pour la garde du petit le prenait 1week-end sur 2 et la plupart des vacances c'est moi qui le gardé car le papa du petit travaillé. Donc ce matin je lui ai dit que j'avais rendez-vous chez l'avocat parce qu'au bout d'un moment faut savoir assumer, et il y a des lois qu'il faut respecter. Et de passer devant le juge clarifira la chose, les vacances seront bien definit. Mais il a menacé de demander la garde exclusive de mon fils, j'ai peur de perdre mon petit. J'aimerai qu'on me rassure ou qu'on m'explique ce qui pourrait se passer. Merci