Contestation par mon employeur de ma prise d acte

Bonjour,
J ai fait une prise d acte de rupture du contrat de travail pour défaut de visite medicale a l'embauche, mon employeur conteste la faute et me signifie par courrier qu il a prévenu l organisme qui gère les visites médicales mais que ces derniers ne m'ont pas convoqué, j'ai une procédure en cours auprès des prudhommes, est ce une excuse valable pour mon ex employeur pour ne pas me payer de dommages et intérêt ?