Congés payes btp

Bonjour,
je travaille dans le btp. j'ai recu de la caisse des congés payes le paiement de mes congés. mon patron à changer le planning de mes congés une semaine avant que je parte en vacances sans m'avertir. Je suis donc parti en congés, il m'a envoyé un sms me disant que si je ne reprenais pas le travail le lundi ca irait mal pour moi dès que je reviendrais.je voulais savoir c'est que du moment que mes congés m'ont été payés par la caisse des congés c'est que mon patron avait bien accepté mes cp a la date que j'avais demandé ?