Assurance de prêt immobilier refusé

Bonjour,
en août, nous avions signé un compromis de vente pour un bien immobilier. Malheureusement, aucune assurance n'a voulu assurer le prêt (qui était accordé par la banque), pour raison médicale (maladie en 2007 - guérie depuis). La vente ne peut donc se faire. Le vendeur nous demande des dommages et intérêts nous accusant d'avoir omis de leur dire que je risquais de ne pas avoir d'assurance.

Est-il dans son droit ? Nous avions fait le nécessaire en temps et en heure au niveau des démarches à effectuer. Nous ne pouvions pas savoir qu'une maladie datant de 3 ans, amènerait un refus d'assurance ; assurances qui nous assuraient qu'on aurait une surprime.
Que faire ?