Accord de principe

Bonjour,
J'ai signé un compromis de vente il y a 3 mois, puis fais une demande de prêt. Ma demande de prêt a été acceptée (uniquement oralement), sous condition du remboursement de mon prêt auto.
Aujourd'hui mon prêt n'est pas remboursé mais j'ai subi une importante baisse de salaire. L'organisme prêteur ne veut pas me faire une lettre de refus pouvant me dégager des frais d'indemnité. Que puis-je faire pour éviter cette indemnité?
Merci