Licenciement pour oubli de visite médicale

Bonjour, étant très tête en l'air j'ai oublié pour la troisième fois ma visite médicale.
J'ai conscience que ça fait beaucoup mais je n'ai pas loupé volontairement ces visites. Pour le deuxième oubli j'ai été mis à pied trois jours, et maintenant mon employeur veut me licencier. Comment puis-je me défendre ? N'est-ce pas un peu démesuré comme décision ? Sachant que ce n'était pas noté sur mon planning et que je n'ai eu aucun rappel.