Obligation lettre de recommandation

Bonjour,

Nous avons un de nos employé, avec lequel nous avions convenu d'un contrat CDI mais avec une periode d'essai de 2 mois, qui ne nous convient pas.
Nous decidons donc de ne pas l'embaucher a l'issue de cette periode d'essai.
Il nous demande desormais une lettre de recommandation afin de trouver du travail plus facilement. Or nous ne sommes pas satisfait du tout de son comportement chez nous.
Que devons nous faire car il se peut que ses competences soient reelles mais pas pour notre entreprise.
Pouvons nous refuser de lui faire cette lettre de recommandation et comment nous justifier sans le vexer ??