Indemnité intempérie

Bonjour,
Je travaille dans le bâtiment . Le jours de mauvais temps mon patron marque la journée " intempérie" ( pour ce fair rembourser par la caisse intempérie ) ,mais il nous oblige a récupérer le samedi. Est légal et si non ( comme je pense) que puis-je fair?
Merci