Grand père qui prend les décisions pour sa fille

Bonjour,

Alors, je suis séparé de ma concubine depuis plus d'un mois, celle ci a été interné suite à une tentative de suicide.
J'ai donc eu la garde de notre fils.
Elle est sortie de l'hôpital psychiatrique, et son père m'appelle pour me dire qu'ils veulent récupérer notre fils, j'accepte à la condition que ça reste les week-end et un jour dans la semaine,. J'ai toujours la maison et elle retourne vivre chez ses parents qui sont à 1h de route, nous avons la nounou à 300m de la maison, donc j'ai proposé les week-ends et un jour dans la semaine pour que notre enfant ne soit pas chamboulé (il a 6mois) qu'il puisse continué son rythme de vie et de plus la nounou est sous contrat. Donc je la paye qu'elle garde mon fils ou pas.
Seulement, le père de mon ex ne l'entend pas de la même manière. Nous avons eu un échange téléphonique assez houleux ou lui me dit qu'il récupère le petit, qu'il reste chez eux pour la semaine et que je le récupérerai la semaine d'après.
Évidemment je ne suis absolument pas d'accord, mais j'ai pas le choix. Il s'est même permis d'appeler la nounou pour pouvoir allez le récupérer. J'ai aucun contact avec mon ex, et visiblement c'est lui qui prend les décisions...
Je voudrais savoir comment faire, en tant que père pour faire valoir mes droits ? Sachant que pendant un mois j'ai continué de m'occuper de mon fils et de ses besoins..