Licenciement pour faute grave ?

Bonjour,
Je vais d'abord expliquer la situation. Tout se passe par téléphone. Après une semaine de déplacement, mon patron nous demande (mon collègue et moi) d'aller chercher du matériel chez le fournisseur (sachant pertinemment qu'on est plus en tenue de travail). Je lui dit gentiment que cela ne m'arrange pas. Il me cri dessus et me demande ma lettre de démission. Ce à quoi je répond "vous pouvez vous asseoir dessus".
Malgré tout je suis quand même allé chez le fournisseur. A mon arrivée à l'entreprise, je suis convoqué par le patron. De là, je suis mis à pied pour 1 semaine. Lors de l'entretien, 1 semaine après, je suis accompagné d'un conseiller. Mon patron dit que ce que je lui ai dit c'est une insulte car pour lui cela veut dire "allez vous faire foutre". Et qu'il est dans son droit de me licencier pour faute grave.
Est-il vraiment dans son droit ? Aurais-je gain de cause si je saisie les prud'hommes ?