Porter plainte pour diffamation?

Bonjour,
Je suis marié, pere de deux enfants, j'ai 39 ans.
Je suis agent de maitrise dans une entreprise de transport en commun.
j'encadre environs 40 conducteurs.
courant janvier, j'ai eu quelques tuiles, qui m'ont mis le moral a zéro, ce qui ne me permettait pas d'être top sourir au travail.Généralement j'arrive a laisser mes ennuies à la maison, mais sur le coup, c'était un peu difficile.
Il y a une quinzaine de jours, je ne me suis pas réveillé, et je suis arrivé en retard au travail : comme c'est moi qui ouvre la "boutique", cela a donné un prétexte a certains de mes conducteurs, à s'acharner sur moi auprès de ma direction.
De fil en aiguille, l'atmosphère est devenue tendue, et leur acharnement de plus e plus accentué.
Un matin, un de ces conducteurs me faisit de petites moqueries et différentes brimades.
un autre conducteur, faisait de même, alors que je n'ai pas vraiment de rapport de sympathie avec lui , ce n'est pas le genre de personne qui pourrait rire ou parler avec moi!
je l'ai reçu dans mon bureau, pour lui exprimer mon mécontentement quand a sa conduite ;
Je lui ai simplement dit que s'il voulait rire, que ce n'était pas possible, car je n'avais aucun humour en cemoment;
Voilà tout.
2 heures après, il est revenu me voir a mon bureau, et m'a demandé si je lui avais fais des menaces !! Biensur je m'en suis défendu, ne comprenant pas pourquoi il me disais cela.
Une de mes collègue était présente a ce moment.
Quelques jours plus tard, mon employeur m'a invité a son bureau pour me dire que ce conducteur lui a écrit un courrier en recommandé lui disant que je l'avais menacé!!
Je lui ai répondu que cela était faux, malgré tout j'ai reçu un courrier recommandé de mon employeur, pour être convoqué avec l'autre personne, pour cette histoire.
Ma question est la suivante : m'est il possible de déposer plaint pour diffamation contre cette personne, suite a son courrier et ses accusations, sachant qu'il la raconté a plusieurs personnes dans mon entreprise?
Si oui, comment et où déposer cette plainte?
Merci de vos réponses