Rétractation avant signature promesse d'achat

Bonjour,
Après avoir fait une offre sur un appartement qui me plaisait, laquelle a été acceptée, je dois normalement signer une promesse d'achat demain.
Faisant face à des soucis d'ordre familial, je souhaite me rétracter, risquant cependant de m'attirer les foudres de l'agence, mais je pense être dans mon droit. Le notaire avait parlé d'une somme de 125€ pour frais d'acte irremboursable : est-ce que cette somme, dans le cas de ma rétractation, sera quand-même due ?
Merci par avance pour vos précieux conseils.
Bien cordialement.