Un collègue veut récupérer un téléphone que celui-ci ma donné.

Bonjour,
Mon collègue m'a prêter un téléphone pour le travail il y a quelque mois et lorsque mon contrat n'a pas été renouvelé celui-ci me l'a donné.
Il m'a envoyé un mail hier m'indiquant que je devrais déposer ce téléphone dans sa boîte aux lettres sans faire d'histoires car je ne le mérite plus (car je lui ai dit que je ne comptais pas continuer de relation amicale ni avec lui, ni avec personne de la boîte).
Peut il m'inquiéter légalement ?
Merci d'avance.