Désaccord allocations familiales

Bonjour,
divorcée depuis 4 ans et demi mon ex et moi même avaient optés pour la garde alternée. Lors du jugement il a été décidé que me revienne les alocations familiales pour deux enfants et selon mon revenu modeste. Mon ex a nouveau papa récemment me demande mon accord pour qu'il déclare nos deux enfants à la caf pour avoir les alloc pour 3 enfants, si je refusais il demanderais la moitié des alloc.Que dois je faire?