Erreur d'allocation

Bonjour,

Depuis 2009 je travaille pour une entreprise dont le siège est en valais Suisse, alors que mon bureau est situé dans le canton de Vaud. Celle-ci m'a déclarée à sa caisse de compensation CIVAF, et je perçois depuis l'allocation familiale pour mes 2 filles pour 550 Chf/mois, versés par la caisse Valaisanne qui chaque année a fait parvenir à l'entreprise un document de décision ouvrant droit à cette allocation.
Selon la loi j'aurai du toucher l'allocation Vaudoise puisque physiquement sur Vaud, et la caisse me demande le remboursement de la difference car l'allocation Vaudoise n'est que de 400Chf/mois, soit un montant de 5400Chf.
Je ne suis en aucun cas responsable de cette faute puisque je n'est pas fait de fausses déclarations, puis-je me retourner contre la caisse Valaisanne ou contre mon employeur?