Refus de pret hors délais faute d'assurance

Bonjour,
Je me retrouve actuellement dans une situation délicate et j'aimerai avoir vos conseils ou connaitre vos expériences si vous etes passé par là :

Nous avons, avec mon conjoint, signé un compromis de vente au mois d'octobre pour acheter un bien immobilier, nous avions 45 jours pour prévenir les vendeurs en cas de refus de pret.
Notre banque a été OK dès le début mais elle ne nous a remis aucun justif et le dossier a trainé longtemps au sein de leur service de pret, pour cause (soi disant) de validation de pret à taux 0.
Fin décembre, mon conseiller me dit oralement que le dossier a été validé par leur siège (presque 2 mois après !), que c'est OK et qu'il ne reste plus qu'à envoyer le questionnaire médical à leur assurance emprunteur pour impression de l'offre de pret.

Malheureusement, 8 jours après on apprend que l'assurance refuse de garantir mon conjoint et que nous devons par nos propres moyens trouver une délégation d'assurance.
Il ne nous restait qu'une quinzaine de jours pour trouver une assurance (avec le risque aggravé de santé) pour respecter les délais de signature de l'acte authentique enoncés dans le compromis de vente.
Malgré nos nombreuses démarches, nous n'avons pas trouvé d'assurance acceptant en si peu de temps, de prendre en charge notre pret immobilier avec les mêmes garanties que l'assurance de la banque.

Nous venons de recevoir un courrier recommandé de mise en demeure des vendeurs nous indiquant que si nous ne signons pas dans les 15 jours, ils annulent la vente et conserve l'indemnité que nous leur avons versé (13 000e) en indiquant que la clause suspensive est réalisée car nous ne les avons pas prévenu dans les délais de notre refus de crédit.
Je trouve ça abusif et injuste car :
1/ Nous n'avons pas eu de refus de pret puisque c'est l'assurance qui refuse, même si dans les faits cela revient au même car du coup le dossier de pret à la banque est bloqué.
2/ Nous avons fait toutes les démarches possibles pour trouver une assurance, mon conjoint a passé une batterie de tests et d'analyse en tout genre.
3/ Le fait de ne pas pouvoir signer est indépendant de notre volonté car nous sommes toujours intéressé par le bien.

Donc, les vendeurs ont ils le droit de conservé l'indemnité ? y a t il un recours pour nous sachant que nous sommes également "victimes" car nous ne trouvons pas d'assurance et nous aimerions acheter ce bien ?

Merci de vos conseils éclairés car nous sommes un peu perdus..