Compromis de vente et refus de prêt

Bonjour,

J'ai signé le 4 juin un compromis de vente pour un bien à 208 000 €, j'ai eu le 24 juin 2 refus de prêt pour des montants de 214 000 et 216 000 (financement total).
J'ai donc envoyé un courrier en recommande avec accusé réception à l'agence immobilière qui l'a reçu le 30 juin 2009.
J'avais donné à mon agent immobilier des documents car il connaissait un courtier pour faire des ssimulations de financement.
Le 1er juillet le notaire me contacte en me disant qu'il a reçu un accord de principe du crédit foncier que je n'ai jamais contacté accord daté du 23/06 et que l'agence immobilière à faxé au notaire le 1/07 à 11h01.
Mon agent et le courtier n'avait pas de contrat de mandat pour faire les démarches de finacement en mon nom. Le notaire m'a d'ailleurs confirmé qu'il ne tenait pas compte de cet accord, en revanche il me dit que mes courriers de refus ne sont pas valable la somme étant supérieure au montant inscrit sur le compromis.
J'ai donc du refaire des demande pour le montant de 208 000 €, demande qui va être également refusé du fait de mon taux d'endettement 42 %.
Cependant je m'inquiète car le vendeur menance de porter plainte contre moi.
Peut il le faire à partir du moment où j'ai bien envoyé mes courriers de refus avant la date limite le 18 juillet?
Peut il utiliser l'accord de principe contre moi.
Merci de me répondre rapidement car je suis paniqué.