Absence et Abandon de poste

Bonjour,
Il y a une très mauvaise ambiance à mon travail dont une personne qui parle extrêmement mal !! Il a vraiment dépassé les bornes ce matin.. j'ai prévenu mon directeur que je ne souhaite pas y retourner cette apres midi et que je voulais un rendez vous avec lui demain matin et la personne concernée.
Peut il engager un licenciement pour abandon de poste si je ne revient pas travailler cet après midi ?
Merci d'avance pour vos reponses?