Depot de garantie suite signature compromis de vente sous seing privé

Bonjour,

j'ai signé un compromis de vente sous seing privé avec mes acheteurs .Ils m'ont versé un dépôt de garantie que j'ai encaissé après le délai de rétractation de 10 jours, comme mentionné dans le compromis signé.
Le notaire qu'ils ont choisi pour signer l'acte de vente me réclame la restitution de ce dépôt de garantie.
Est-ce normal? N'est-il pas possible de déduire cette somme avancée du montant total à me régler lors de la vente?
Dans l’attente de votre réponse et bien cordialement