Acceptation puis refus d'un CDI suite à un CDD

Bonjour,

J'ai été reçu par mon employeur 3 jours avant la fin de mon CDD.
Il m'a proposé oralement un CDI. J'ai accepté.
Le lendemain (mon CDD n'étant pas encore fini), je lui ai fait un mail lui précisant que je ne voulait finalement pas le CDI, car je n'étais pas heureux dans mon travail. Que je voulais bien à la limite qu'il me fasse un nouveau CDD le temps qu'il me trouve un remplaçant.

Il ne m'a répondu 4 jours plus tard, mon CDD était terminé, je suis retourné travaillé, ne sachant pas quoi faire, et dans ce mail il me dit que maintenant je suis en CDI et que je ne peux pas revenir sur ce point.

Est-ce que je ne peux vraiment rien faire ?