Avance sur frais de notaire?

Bonjour,
j'ai signé, le 27 mai 2014, un compromis de vente avec une agence immobilière, sans passer par le notaire. Ce compromis comportait des clauses .suspensives d'obtention de prêt. j'avais pris le soin de faire une étude préalable a la signature du compromis par ma banque et tout était Ok. j'ai donc fais toutes les démarches pour l'obtention de ce prêt. Entre-temps l'agence immobilière à depose le compromis chez le notaire qui dans la foulée (sans même nous avoir reçus) nous a demandé par téléphone de lui verser 250€ pour avances sur frais récupérables lors de la signature de l'acte de vente. Pour des raisons de santé je n'ai pu obtenir ce prêt. J'en ai immédiatement informé le notaire, l'agence immobilière ainsi que le vendeur par la production de la lettre de refus de prêt précédée de coups de téléphone.Je n'ai eu aucun problème ni avec le vendeur, ni avec l'agence qui ont compris que j'étais de bonne foie. Seul le notaire refuse de me restituer les 250€ alors qu'il n'a établi aucun acte et qu'il ne nous a jamais reçus pour cette affaire. Que dois-je faire pour "tenter" de récupérer mon avance sur frais? mer ci pour vos réponses