Garde d’enfant de moins de 18 mois

Bonjour,
Je suis séparé de mon ex conjoint (pas marié, pas pacser, en concubinage seulement), nous avons un petit garçon de 13 mois maintenant.
J’ai garder la maison que nous louons, lui est partis vivre chez ses grands parents.
J’ai une amie qui m’à dit que je devais accepter mon ex compagnon vienne chez moi voir son fils jusqu’a ses 18 mois? Est ce vrai?
C’est compliqué entre nous, je le priverais jamais de son fils, je ne veux juste plus qu’il rentre chez moi.
Il ne veut pas l’acceuillir chez ses grands parents alors qu’il y a la place et quand je veux lui donner son fils le dimanche il refuse parce qu’il ne le voit que 3 heures et que sa sert a rien comme il me dit.
Je sais qu’il a demander l’aide d’un conciliateur et je ne suis pas contre.