Annulation compromis et acompte au notaire

Bonjour,
Etant dans le délais légal de rétractation de 7j après la signature d'un compromis de vente je viens de décider de me rétracter (sérieuse raisons familiale de dernière minute).
A la signature du compromis, j'ai fait un chèque de 6000 euros pour l'appartement et un autre de 300 euros d'acompte pour le notaire. En effet ce dernier l'a justifié en insistant sur son ras le bol des personnes qui signe des compromis et qui se rétractent ensuite laissant le notaire sans aucune contrepartie financière pour le début de travail déjà fourni.
Bref, le cheque de 6000 euros n'a toujours pas été débité mais celui de 300 euros oui.
Je souhaite savoir si légalement le notaire a le droit de garder cette somme suite à ma rétractation dans le délais imparti. Cela me semble abusif.
Merci pour vos réponses