A-t-il le droit de m'appeler pendant mon arrêt ?

Bonjour,

Voilà, j'étais en poste dans une entreprise depuis Octobre 2012.
Mon contrat s'arrête fin Août de cette année.
j'ai été plusieurs fois en arrêt de quelques jours pour baisse de tension suite au stress.
En effet, je suis rentrée chez moi le soir plus d'une fois en pleurs après ma journée de travail.
Je me sens rabaissée, pas à ma place, les tâches confiées sont principalement du classement ou de la mise sous plis, et quelques fois (miracles), saisies de courriers et mise à jours de dossiers pour faire le point.
La semaine dernière, ça a été la goutte d'eau, on m'a dit : "Si c'est pour continuer à faire de la merde, vous aller finir votre contrat dans le garage à faire des cartons". je me suis ensuite pris la tête avec ma collègue comme quoi de toute façon, c'est pas elle qui fait les bourdes, donc en gros, c'est moi.

Sur ce, j'ai pris mes affaires en larmes et suis partie.
Je suis en arrêt depuis lundi et ce jusqu'à mes vacances début Juillet.
Hier soir, mon patron (qui était absent quand je suis partie) m'a appelée hier soir et ce matin, mais je n'ai pas répondu, il m'a laissé des messages pour que je le rappelle, afin de "faire le points sur nos relations vu que je suis en congés après mon arrêt".
Il m'a même envoyé un texto ce matin en plus me demandant quand je pourrais le rappeler.

je ne sais pas quoi faire, je suis en arrêt pour un état "anxio-dépressif", j'ai pris RDV à la médecine du travail, mais ça ne sera pas avant mercredi prochain.

A-t-il le droit de m'appeler pendant mon arrêt ? Dois-je lui répondre ?
On m'a dit de lui envoyer un mail pour dire que pour le moment, je ne souhaite pas discuter de ma situation mais que je les recontacterais le moment venu.

Tout le monde me dit que j'ai eu du courage de tenir aussi longtemps, même une de mes collègues m'avait prévenu qu'il me pourrirait la vie...

Aidez moi s'il vous plait, je suis en panique et angoisse rien qu'à l'idée de l'avoir au bout du fil ou d'y retourner après mes congés...