Garde d'enfant

Bonjour,
Actuellement séparé du père de ma fille depuis plus d'1 an, nous étions pas mariées ni pacsé. J'ai rencontré une autre personne et voudrais vivre avec lui. Mon probleme c'est que mon Ex et ma fille ne sont pas au courant que je refait ma vie, car j'ai peur de leur reaction. Je vois mon nouveau compagnons une semaine sur deux, quand j'ai pas la garde de ma fille, garde de l'enfant a l'amiable malgré moi. Ma question: le fait de refaire sa vie peux avoir des avantages ou des inconvegnant devant un juge???