Problème d'harcelement

Bonjour,

Je suis dans un dilemme. Je travaille comme adjoint administratif sous contrat dans deux mairie. Pour ne pas éveiller de soupçons. Je vais les nommer X et Y. J'ai signé un CDD de 3 ans avec la mairie X. Cette mairie me mets à disposition à la mairie Y.
Je fais 21 heures dans la mairie X et 14 heures dans la mairie Y.
Dans la mairie X, tout se passe bien et je n'ai aucun souci à signaler.
C'est dans l'autre où ça se complique.
Depuis le début, je sais que le maire de cette commune était retissant à ce que je prenne le poste. C'est le maire de la commune X qui m'a soutenu. Au début, je travaillais en binôme avec l'ancienne secrétaire afin qu'elle apprenne les fondements du secrétariat de mairie.
J'ai commencé à travailler seule début 2014 et c'est là où tout à commencer. Déjà, je n'avais pas l'outil informatique adéquat (ordinateur obsolète et imprimante capricieuse) et la rapidité de l'ancienne secrétaire. Je pense que c'est normal car elle avait 33 ans de carrière derrière elle.
Après, le maire a changé mes horaires pour être avec l'adjointe responsable des finances pour qu'elle "m'aide". Elle fait plutôt le contraire et prend mon travail. Elle critique tout ce que je fais. Elle m'oblige de faire à sa manière. Elle a même préparer et présenter le budget et compte administratif devant le Conseil Municipal à ma place.
Maintenant, le maire critique que je ne fais pas les heures que je dois faire. Avant le changement d'horaires je les faisais. En gros en ce moment, il me manque 2 heures de travail. Il me donne plus l'envie de les faire. Je suis stressée, fatiguée, j'ai peur de ses réactions imprévisibles. En 2 ans, j'ai subi 3 crises de nerf du maire. La dernière s'est déroulée jeudi matin. Je me suis mise en arrêt maladie vendredi dernier car j'étais traumatisée. Mon médecin m'a proposé de me mettre une semaine en arrêt maladie. J'ai refusé car je ne veux pas pénaliser l'autre commune.
Je dois y retourner jeudi matin. Je ne sais pas comment réagir ni faire. J'ai peur d'y retourner.
Dois-je faire une lettre en recommandé à la commune Y que je désire rompre la convention de mise à disposition ? Dois-je rendre les clés de la mairie en même temps ?
J'espère que vous pourrez m'aider.

Emilie