[Militaire] Reversement du supplément familial de solde

Bonjour,

Je suis militaire de l'armée de terre, séparé depuis juin 2011 et divorcé depuis décembre 2012. Mon ex-épouse détient la garde des 2 enfants pour lesquels je verse une pension mensuellement.
Jusqu'en décembre 2012 j'ai continué à bénéficier du supplément familial de solde, pour lequel je suis imposé sur mes revenus. Supplément que j'ai logiquement perdu en décembre 2012 à la suite de mon divorce.
Cependant, mon ex-épouse à fait une demande auprès de l'organisme payeur qui a décidé sans me consulter ni moi, ni personne, de lui reverser la totalité des sommes que j'ai touché depuis juin 2011, au titre du supplément, en une seule fois (ce mois-ci je vais être soldé 590€). Sachant également que que madame touche la CAF. L'organisme payeur, détient à son niveau, mon jugement de divorce sur lequel le juge déboute mon ex-épouse de ce supplément.
L'organisme payeur s'étant engagé auprès de madame, refuse maintenant de faire marche arrière et de me restituer ma solde prétextant que le juge n'a pas à statuer sur le supplément familial de solde.

Qu'est ce que je peux faire SVP ? Je suis face à un mur qui ne s'exprime que par mail via la cellule solde de mon affectation.

Par avance merci pour votre aide et d'avoir pris le temps de lire mon message.