Nounou à domicile démission

Bonjour,
Je suis actuellement en CDD 35h (7h 14h) et j'ai également un CDI en tant que nounou à domicile.
Je devais normalement travailler le mardi et vendredi le soir en tant que nounou mais je me suis vite rendu compte que c'est compliqué pour moi d'assurer deux boulots sachant que je suis enceinte.

J'ai donc prévenu l'agence que je ne suis plus disponible la semaine mais uniquement le weekend. Par prétexte qu'ils n'ont pas de garde le weekend, ils veulent que je démissionne (en sachant que le weekend il y aura toujours des gardes tôt ou tard...) Suis-je obligée de démissionner ? Puis-je leur demander un commun accord ?
Merci