Garde enfant

Bonjour,
Le pere de mon fils , et moi sommes separés depuis 4 ans deja, et il prenait l enfant quand il voulais, mais depuis un certain , il fais comme bon lui semble, je travaille trois samedi sur quatre, le papa me bloque , il me dit je prend mon fils et au dernier moment ne le prend plus. n ayant jamais entame de procedure de jugement , pour qu il voit son enfant quand il voulait, actuellement je ne peu continuer comme cela, que doit je faire ? merci et quelles sont les demarches a suivre merci d avance.