Rumeurs dévoilées

Bonjour,
J'ai un gros problème.
Un collègue s'est fait ramasser par ma patronne pour des problèmes personnels (fortes odeurs de transpiration et autre)
Ce collègue boit le café avec 2 autres collègues et moi-même. Je travail avec lui toute la journée et je parle avec lui pour des informations clients que j'ai besoin. Suite à cela ce collègue nous faisait la gueule car ma patronne lui a dit que nous avions dévoilé des choses privées au café et que cela avait tourné. Elle lui a dit de se méfier avec qui il buvait le café.
Depuis ce jour à chaque fois qu' il y a un souci ça me revient au visage alors qu'aucun de mes autres collègues n'a rien dit de sa vie privée .
Entre temps j'ai eu une vent d'une rumeur que ce collègue avait fait une sex tape par une collègue qui est en dehors de notre groupe. Cette rumeur viendrait en fait de ma patronne elle même suite à ce que lui a rapporté un client.
Ce collègue n'était pas au courant de cette rumeur et à force d'être pris à parti par mon collègue j'ai fini par lui dire qu'il y avait cet rumeur sans lui dire que cela venait de la patronne.
Maintenant il veut aller voir ma patronne pour lui fire qu'il veut porter plainte pour diffamation.
Le problème c'est que j'ai peur pour mon emploi et mes autres collègues car je pense qu'il va balancer les personnes qui lui ont dit.
COMMENT FAIRE ?