Demande d'informations

Bonjour,
Je suis séparée depuis 2 ans de mon compagnon, avec qui j'ai eû un enfant (4 ans).
nos relations ne sont pas particulièrement bonnes, il refuse de prendre sa fille chez lui car il se sent dépassé par la situation. j'ai en revanche de bon contacts avec sa mère, donc ma fille va régulièrement chez elle et je sais qu'ainsi, via l'intermédiaire de la grand-mère, elle voit son père régulièrement.
nous ne sommes jamais passé devant un juge, et me donne 100€ par mois quand il le peut.
Aujourd'hui, je redoute qu'un jour, quand ma fille sera plus grande, il décide enfin de la prendre un week end ou en vacances et ne veuilles plus qu'elle revienne avec moi.
c'est quelque chose qui m'inquiète, mais je sais que si je lui propose de passer devant un juge, il le prendra mal et nos relations déjà médiocres ne feront qu'empirer, chose que je ne souhaite surtout pas.
y-a-t-il une démarche que je puisse entamer de mon côté, afin de déclarer que j'élève ma fille seule, que son père ne veut pas la prendre chez lui, et qu'il me verse irrégulièrement une pension ?
je vous remercie d'avance pour vos conseils.