Demande de congé accordé, qui doit être récupéré s

Bonjour,

Je suis salarié d'un établissement, les heures que j'effectue sont comptabilisées par une badgeuse.
Pendant 4mois nous n'avons pas eut de secrétaire pour répertorié nos heures.
Hors les demandes de congés HS pendant l'absence de la secrétaire ont été accordé par notre employeur.

Après le retour de la secrétaire mon employeur c'est rendu compte qu'il avait accordé a des personnes, des congés HS et que cela les mettait en négatif sur la badgeuse. Et leur demande de récupérer ce solde négatif.

Est-ce que l'employeur a le droit d'obliger le salarié a récupérer, les heure perdu de congé accordé ?