Credit refusé

Bonjour,
Nous avons signé avec mon mari un compromis de vente chez le notaire pour une maison d'une valeur de 120000 euros à cette occasion nous lui avons versé à sa demande 5000 euros. Nous avons une condition suspensive pour l'obtention d'un pret. Je n'ai pas assez d'apport donc la banque m'a informé que mon credit été refusé et qu'"elle m'envoyer au plus vite un refus. J'informe donc l'agence immobilière qui me dit que ca ne vas pas se passer comme ca. La banque m'avais dit que ca devrait passer elle l'a dit aussi à l'agence mais aucun papier confirmant.
L'agence me menace donc de se retourner contre moi et que le propriétaire aussi peut le faire et que jamais je ne retrouverai mes 5000 euros. Pourtant quand je lis l'avte du notaire il dit simplement que si je n'ai pas le pret il me rend mon argent et pas de vente.
Je comprend plus rien est ce que l'agence ou le proprio peut m'attaquer
Merci de m'aider