Mon ex veut récupérer ses enfants

Bonjour,
Suite à mon divorce il y a 3 ans j'ai eu la garde de mes deux enfants et cela avec l'accord de mon ex-mari. Ce dernier habite à 300 km de chez nous et récupére les enfants un WE sur 2 + la moitié des vacances scolaires. Tout se passait bien jusqu'à il y a qq mois ou mon ex se plaint de la pension qu'il a à verser (cette dernière avait été fixé par lui puisque divorce par consentement mutuel) ainsi que les dépenses qu'engendrent les déplacements. Petit à petit il manipule les enfants en leur faisant miroiter beaucoup de choses s'ils voulaient habiter chez lui. Jusqu'au jour ou mon fils qui a 10 ans m'a dit qu'il voulait aller habiter chez son père. Mon fils est un enfant très équilibré, trés bon élève, ses instituteurs nous ont dit être très surpris par sa maturité et son équilibre. Ma plus jeune fille qui a 6 ans est plus perturbé car elle voudrait resté avec moi mais elle veut être avec son frère.... Depuis plus rien ne va mon ex veut saisir le JAF pour avoir la garde avec sa nouvelle compagne. Il est or de question pour moi de voir mes enfants partir, ils sont bien élevés, ne manquent rien... Mon ex est allé jusqu'à les amener chez un psy pour essayer d'avoir une preuve qu'ils étaent perturbés, hélas pour lui ce dernier que j'ai contacté m'a dit que mon ex voulait la garde mais que pour lui un changement de garde n'avait pas lieu d'être.
Je suis perdu car je ne veux pas perdre mes enfants car si s'était le cas je ne pourrais pas le supporter. Mon ex les manipule en permanence et j'ai très peur. Que dois-je faire ? peut il changer une décision comme ça ? Mon fils me dit que son père lui a dit qu'il écrirait au juge. Que me conseillez vous car j'ai peur qu'il soit capable de me salir ou me faire une mauvaise réputation pour arriver à ses fins. Merci de vos réponses