Séparation, enfants, desaccords

Bonjour,
Je vais essayer de vous résumer la situation, le plus clairement possible.. j'ai rencontrer mon ex compagnon il y'a 10 ans. A l'époque, je moccupais seule de mon fils de 2 ans non reconnu par le papa. J'ai emménager 2 ans plus tard avec celui ci. Nous avons eu un petit garçon, et par la suite, il a décider de reconnaître mon 1er fils. Notre couple n'allant j'ai décider de déménager à 25 km de chez lui, en garde alterné car je ne voulais pas que les enfants suite à la séparation souffre ausdi d'un changement d'environnement. Seulement aujourd'hui, nos rapport se détériore, il ne fait aucun effort et me répète en permanence que je dois assumer les choix que j'ai fais. Je ne peux et ne veux pas me rapprocher de chez lui, pour mon travail et raison personnel. Et je ne me vois plus faire 1h30 de route le matin et le soir pdt les 10 prochaines années. Il me dit que je ne peux pas les changer d'école sans son accord et qu'un juge ne me donnera pas la garde. J'aimerai savoir si le fait que je suis parti hors mariage a une incidence? Sachant que nôtre accord ne c'est fait qu'entre nous.