Frais bancaires pour refus de prélèvement

Bonjour,

je suis dans une situation particulière.
je suis frontalier et chaque mois, la banque francaise effectue un prélèvement permanent de mon salaire sur mon compte suisse pour le rapatrier en france. Ce prélèvement permanent est fixé au 2 de chaque mois. Mon salaire est viré le 30 de chaque mois. jusqu'à peu, tout se passait bien mais cela fait maintenant 2 fois que le prélèvement est refusé par la banque suisse (soit disant pour fond insuffisants) et le crédit agricole me prélève 46€ de frais à chaque refus. J'ai passé pas mal de temps à essayer de comprendre le pourquoi du comment avec mes 2 banques et forcément elles se rejettent mutuellement la faute. Le crédit agricole a fini par me dire que les odres de prélèvements permanents étaient passés avant la date d'échéance et en fonction des jours de congés, weekend etc... la date pouvait être avancée de plusieurs jours (jusqu'à 4ou 5). Mon salaire tombant le 30, forcément qu'avant cette date, les fonds sont insuffisants et la banque suisse rejette le prélèvement. ce qui me gène c'est que ce procédé n'est mentionné nul part sur mon contrat de prélèvement permanent, la date de valeur étant le 2 de chaque mois, les prélèvements devraient se faire à cette date. Je considère que ce n'est pas à moi de payer et quand je fais valoir cet argument, le crédit me renvoie vers la banque suisse et inversement.
Quelqu'un pourrait-il me dire si je suis en droit de réclamer le remboursement de ces frais et quel moyen de pression je pourrais utiliser auprès du crédit agricole pour qu'ils deignent m'écouter et me rembourser ? est ce qu'une procédure devant les tribunaux serait sûre d'aboutir et la banque est-elle en droit de lancer ces prélèvements par anticipation?

merci de m'avoir lu.
Dans l'attente de votre réponse.