Renvoyé chez moi par mon employeur sans écrit : que faire ?

Je suis chauffeur poids lourd. Je me suis présenté ce matin à mon Entreprise à 06h45 pour prendre mon travail à 07h00.
Lors de l'arrivée de mon patron à 07h00, je lui ai parlé des problèmes de non-conformité de la remorque que j'attelle au camion qui m'est attribué, et des heures supplémentaires non payées que j'ai effectuées chaque semaine depuis mon entrée dans son entreprise.
Il m'a déclaré qu'il ne me devait rien. Il m'a reproché de toujours demander quelque chose, et de lui coûter cher au vu de mon travail. Il m'a alors demandé de venir au bureau. Une fois au bureau, il m'a dit de revenir demain chercher mes papiers de licenciement. Je lui ai demandé le motif de mon renvoi, il m'a répondu « Il n'y a plus de travail pour toi ». il m'a alors demandé de partir, et m'a insulté « vas bien te faire enculer ». J'ai donc quitté l'Entreprise à sa demande. Je me suis alors rendu à l'Inspection du travail, qui m'a conseillé de lui envoyer un courrier RAR exposant les faits, et indiquant que je ne suis pas démissionnaire, et que donc je me tiens à sa disposition pour reprendre mon poste.
Que risque-je si je ne me présente pas demain ? Dois-je attendre qu'il m'écrive (s'il répond à mon courrier) ? N'est-ce pas un risque qu'il me licencie pour absence injustifiée ? Je ne sais pas quoi faire !