Problème d'entente sur une fin de contrat

Bonjour,

Sur un cdd de 3 mois, mon employeur et moi-même avons convenu d'une fin de contrat à l'amiable oralement avec une anticipation de 1 mois et une semaine avant la date du contrat. Car je n'ai pas les compétences ni le physique pour exercer ce travail et que notre mésentente est évidente.
Aujourd'hui il me refuse ce contrat à l'amiable et me demande de me présenter au travail. Hors je n'ai jamais eu de rendez vous à la médecine du travail lors de ce contrat et j'ai un problème physique déjà constaté qui m’empêche de réaliser ce travail.
Je ne souhaite plus y retourner car ce travail m'est impossible physiquement et je ne souhaite pas démissionner.
Quel arrangement recours puis je convenir pour clôturer ce contrat?

Merci bien de votre aide.