Père en colère

Bonjour,
je voudrais savoir si je suis obliger de prendre un avocat pour demander la garde de mon fils de 2ans1/2
je suis séparé de sa mère, nous n'avons jamais était marié.
L'enfant porte mon Nom.
D'un commun accord, elle l'a la semaine et moi tous les week end.
Seulement, il y a un hic.
Elle fréquente l'ex mari de sa soeur,( ils ont 2 enfants ensemble)
elle a trouver un travaille, est c'est l'ex mari qui garde mon enfant la semaine.
le problème est que mon fils est perturbé, et, il me réclame souvent, et, quand je l'ai le week end, c'est terrible, car il veut plus aller avec sa mère et quand je le ramène le dimanche soir, c'est des crises à chaque fois, il s'accroche à mon cou en hurlant ( pas maman), je veux donc récupérer mon fils.
merci de vos conseils