Licenciement Intérimaire - dispute

Bonsoir,

J'ai travaillé 16 mois au sein d'une grande société et ensuite après une semaine de repos, j'ai commencé depuis 2 semaines un contrat d'intérim de 3 mois
dans une autre de leurs filiales.

Je viens de me disputer avec un collègue en CDI du fait qu'il m'a manqué de respect.
Il m'a dit suite à demande de renseignement poli de ma part que "je ne devais pas le faire chier".
Je n'ai pas de témoin pour ces propos-là ou plutôt je pense que ses collègues présents mentiront.
Pour la suite de la dispute, notre responsable hiérarchique était présent.

Pendant la dispute, il m'a traité d'"andouille" et moi je lui ai dit "crétin". Il a proposé de descendre du bâtiment pour qu'on se bagarre dehors, ce à quoi j'ai répondu "d'accord !". Il m'a aussi dit "méfie toi".

Aujourd'hui on me dit que mon contrat pourrait être interrompu.
C'est une injustice d'autant plus que ce collègue nie m'avoir manqué de respect. Il ment ce que j'ai souligné (me croira-t-on?).

Il y a un contexte reconnu de tensions dans ce service.
Les "CDI" ne veulent pas par exemple que les "intérimaires" viennent à certaines réunions. Ils rechignent à former des personnes qui arriveraient dans l'équipe car ils se sentent "rabaissés", "exploités". Ils veulent des promotions car ils ont le sentiment d'avoir réalisé des sacrifices.

Pour ma part, je ne sais comment défendre ma position.

Dois-je contacter mon agence d'intérim (question qui a l'air bête mais me défendra-t-elle efficacement ou satisfera-t-elle son client sans se soucier de ma défense ...?)?
D'après mes recherches, on peut rompre ce contrat intérimaire du fait d'une faute grave. Mais c'est mon collègue qui a dit "andouille" en premier et c'est lui qui a proposé qu'on se bagarre ou qui m'a dit "méfie toi". Pour ces éléments là, j'ai normalement le témoignage de notre responsable direct.

Alors évidemment je suis intérimaire et il a plus de compétences que moi.
En plus d'être moins chevronné (quoi que apprécié), je suis démotivé.
Je pense que la société va pencher en sa faveur par intérêt ou par lâcheté et peur de faire des vagues, que les témoins ne diront pas la vérité ou pas tout.

Que puis-je faire ?
Merci d'avance.