On porte plainte contre moi pour diffamation

Bonjour, merci d'avance pour vos réponses. Alors voici mon problème, j'ai envoyé un courrier à la directrice d'une structure public concernant sa secrétaire qui avait tenu des propos inappropriés, voir raciste à certaines personnes pendant que je patientais (pendant 2h30) devant ce même secrétariat avant mon rendez-vous. Moi, je n'ai eu aucun problème avec cette secrétaire, mais j'ai voulu dénoncer son incorrection. J'ai donc relaté dans mon courrier les faits en détail. La directrice m'a appelé en me proposant un rendez-vous afin d'éclaircir la situation, pendant cet entretien elle m'explique que sa secrétaire a démenti (ce que je comprend étant donné qu'elle risquait des sanctions....) et qu'elle préfère lui laisser le bénéfice du doute. La secrétaire n'a donc aucun préjudice vis-à-vis de son emploi. Pourtant la directrice m'annonce que la secrétaire va porter plainte contre moi pour diffamation. Tous les faits que j'ai dénoncé sont réel seulement je n'ai pris aucune note, ni vidéo ou autre pour prouver mes dires. Que va-t-il m'arriver?