Rupture de contrat a cause des cp refuses

Bonjour,
voila je viens de recevoir une lettre recomandee me disant rupture de contrat a votre initiative sachant que j etais chez eux en cdd jusqu au 31 mai et cela depuis le 27 novembre
j ai donc acquis des cp mes filles se faisant operee le 26 mai et le 9 juin j ai pose des cp du13 mai au 30 mai pour finir mon contrat tout en restant aupres d elles
le directeur est bien venu me voir en disant qu il me refusait ces cp je lui ai repondu tant pis je ne serait pas la quand meme raison medical
es t il en droit maintenant de me dire rupture de contrat a mon initiative puisque c est lui qui a refuse mes conges?
merci de me repondre car la je ne sais pas trop comment faire je dois signer ou pas?