Refus de signer un cdi

Bonjour,

j'ai été en CDD temps partiel du 11/02/2020 au 15/02/2020 puis à nouveau du 15/02/2020 au 16/05/2020.
mon employeur voulait me faire passer en CDI à temps partiel à compter du 17/05/2020.
J'ai repris mon poste le 17/05/2020 sans contrat de travail.
J'ai reçu un avenant de passage d'un CDD vers un CDI le 19/05/2020.
Je n'ai pas signé cette avenant car finalement je ne souhaite plus travailler avec eux et car je n'accepte pas une des clause du contrat qui est celle du lieux de travail
je souhaiterai travailler dans un métier plus social et plus humain et donc aller en formation dans ce but.
Ma question est de savoir si j'ai le droit de ne pas signer ce contrat et si je peux partir de l'entreprise et continuer de toucher mes allocations chômage ?

Merci pour vos réponses
Cordialement