Parents séparés avant la naissance, vivants loin.

Bonjour,

Le père de mon fils et moi sommes de 2 régions différentes. Lorsque je suis tombée enceinte, nous avions alors décidé de vivre dans sa région. Il m'a quitté pendant ma grossesse, je suis donc repartie dans ma ville d'origine. Je précise qu'il n'a reconnu notre fils alors que lorsque ce dernier avait déjà 6 mois, qu'il est sans emploi et sans logement décent. Mais celui-ci souhaite effectuer son droit de visite en prenant mon fils (qui n'a que 6 mois et demi) pendant plusieurs semaines.
En a t-il le droit? Et si oui, comment contester?
Je lui propose de venir un week end par mois et de se prendre un hôtel ou autre, je ne lui demande pas de pension alimentaire pour qu'il puisse en assurer le coût financier. S'il accepte, faut il faire constater cet accord par un juge?

Merci d'avance.