Modification du droit de garde

Bonjour,
Divorcé depuis 2014, mon ex femme avait obtenu la garde et moi un week-end sur deux à défaut de mieux selon le jugement.
Au moment du divorce j'étais au chômage, j'ai retrouvé un job qui me demandait d'être très mobile et donc difficile pour une garde alternée. En 2016 licenciement économique, 15 mois de chômage entraînant des difficultés financières à la limite de l'interdit bancaire (merci papa), en Août 2017, je retrouve un job à 650 kms de chez moi, vu la situation j'y vais, je garde mon logement principal et reviens tous les 15 jours pour vivre mes week-ends avec mes 3 enfants.
Pendant toutes ces années et malgré les difficultés financières j'ai toujours payé la pension alimentaire. J'ai refait ma vie proche de mon job, une très belle histoire avec une personne formidable. Avec le temps, le ras le bol de voir mes enfants en coup de vent le week-end, mare de passer 300 heures par ans à faire la route. J'ai fini par mettre fin à ma relation avec ma compagne et ses filles, j'ai retrouvé un job près de chez mes enfants.
Mon ex femme était au courant de mes intentions et d'accord pour que je prenne les enfants une semaine sur deux.
Pour vous faire comprendre le contexte mon ex-femme, puéricultrice en PMI à un caractère de m.. A toujours passé son temps à me faire culpabiliser, à m'appeler pour me hurler dessus quand j'étais au boulot pour des connerie, parce que le dialogue avec elle est toujours impossible, c'était déjà le cas lorsque nous étions mariés et aujourd'hui c'est pareil avec les enfants et ils en souffrent.
A mon retour elle a accepté la garde alternée à l'amiable et sans écrit au grand bonheur de mes loulous, mais dès la deuxième semaine c'est parti en sucette, elle m'appelle en me hurlant dessus des qu'il y a le moindre petit soucis entre les garçons, limite je dous venir les chercher sur le champ. Bref la grosse merde.
Elle conscent la garde alternée mais me réclame toujours la pension alimentaire et ne veux absolument pas entendre parler de consiliateur ni de juge des affaires familiales.
Il y a 15 jours ses excès de colère l'on poussé jusqu'à casser une bouteille en verre sur le pied du plus grands qui a 16 ans. J'étais près à porter pleine...
Aujourd'hui je refuse de payer la pension alimentaire, je vais saisir le JAF car les enfants qui on 12, 14 et 16 ans veulent la garde alternée...
Je risque quoi ?