Vente de ma maison annulée

bonjour,
Voici mon histoire. Je suis en train de vendre ma maison. Au 21 octobre 2014, j'ai signé un compromis de vente. Jusque la, rien d'abormal. Ce compromis stipule que l'acquérir à 45 jours pour trouver un prêt et me donner sa réponse.
La signature chez le notaire est prévue pour le 1er février 2015.
Les 45 jours une fois passé, je me suis dis ok, c'est bon la maison est vendue.
Je me prépare donc à aller prochainement chez le notaire.
Hors, aujourd'hui donc le 21janvier, l'agent immobilier vient de m'appeler pour m'informer que le prêt n'est pas accordé et que la vente de la maison est annulée purement et simplement et qu'il la remets en vente. Tout ça sans contestation possible.

Ma question est: Vu que la banque n'a pas respectée les 45 jours pour donner son accord ou pas pour le prêt, quel recours je dispose pour dénoncer ce non respect du compromis?
Qui est responsable? la banque, l'agent immobilier ou les deux?
Que dois je faire?
Merci de vos réponses, je suis complétment perdu par cette nouvelle.
Cordialement