Séparation à l'amiable

Bonjour à vous et merci d'avance pour votre patience à me lire.
Je suis séparée du père de ma fille (reconnue par ce dernier), depuis le 12.07.2012. Il nous a sommées de quitter le domicile lorsqu'elle avait 10 mois.
J'ai décidé de ne pas porter plainte pour que ma fille ne soit pas privée de son papa plus tard, car les problèmes des parents ne sont pas ceux des enfants.
Ne voulant rien lui devoir, je ne lui ai pas demandé de pension alimentaire. A chaque visite, un sac rempli du nécessaire lui était fourni car il ne savait pas comment s'équiper.
Son appartement (studio) n 'est pas fait non plus pour l'accueillir mais la voir une journée de temps en temps lui convient.
Aujourd'hui, il est dépendant de l'alcool, a eu une suspension du permis et une amende.
Une main courante pour violence a été déposée par son ex concubine.
Il est rempli de dettes et n'a pas versé sur un compte de son propre gré un seul centime ou fait un seul cadeau à la petite en 5 ans depuis sa naissance.
Il ne l'a pas vu depuis un an et demi avec son accord car j'ai dû me soigner à l'étranger mais j'avoue craindre leurs retrouvailles.
Quels sont ses droits, quels sont mes droits?
Je veux absolument éviter le J.A.F. et en même temps protéger ma fille au cas où car la confiance est partie. A 5 ans elle ne le réclame pas, je précise et elle est consciente des faits à sa manière d 'enfant.
Je suis perdue car il n'y a jamais eu de conflits suite à notre séparation mais je connais cet homme et je voudrais prendre mes précautions.....
Merci pour votre attention.
Respectueusement.
Mylène.