Mon vendeur peut-il se retourner contre moi

Bonjour,

J'ai signé un compromis fin octobre par l'intermédiaire d'une agence. Il y a eu une simulation faite par le Crédit Foncier qui m'a indiqué que je pouvais emprunter à hauteur du prix de vente plus les frais de notaire. Après avoir tenter d'obtenir des petits prêts auprès de mon employeur. Une prorogation de la condition suspensive d'obtention de prêt a été faite. Mais 10 jours après la date de cette prorogation, le credit foncier a fait un refus de prêt. A la date d'aujourd'hui, mon vendeur souhaite faire une procédure afin d'obtenir les 10% d"indemnité d'immobilisation. Je suis super ennuyer pour eux. Mais à mon niveau je ne peux rien faire car j'ai un refus de prêt. Quel est mon recours ? Merci, de me répondre.