Sous-seing privé pour terrain

Bonjour,

J'ai signé un sous-seing privé le 27 juin 2008 avec date limite pour signature de l'acte authentique le 29 septembre.
Lors de la lecture du document par l'agence immobilière, à la question "faites-vous un emprunt pour cet achat ?", j'ai répondu "non" car je devais régler par des fonds propres provenant de mon compagnon. Il n'a donc pas été fait mention d'une clause suspensive. Je reconnais ne pas avoir saisi toute la portée et les conséquences d'une telle signature en l'absence de cette garantie et l'agent immobilier, de son côté, n'a pas insisté sur le risque encouru, répondant à ma question que dans le cas d'une impossibilité d'achat, je devrais payer 5 % du coût du terrain à l'agence et 5 % au vendeur.
En relisant plus tard le sous-seing privé j'ai eu quelques craintes, mais étais confiance quant à la réalisation de ce financement.
Malheureusement je n'ai pas pu obtenir le financement escompté et malgré de nombreux dépôts de dossier de demande de prêt à des banques ou organismes financiers, je n'ai pour l'instant aucune réponse positive.
L'agence immobilière m'informe que je devrais payer les frais de 5% + 5% en + des arrhes versés (ce que j'admets), et que le vendeur, par l'intermédiaire de leur service juridique, peut me forcer à l'achat du terrain par une action en référé (ces conditions figurent effectivement sur le sous-seing privé).

Je voudrais connaître les risques réels d'une telle procédure judiciaire ?
Je précise que l'agence ne m'avais pas informée de la possibilité de renégocier le sous-seing privé en cas de problème (elle ne l'a fait que récemment), et que dans le cas où j'aurais signé avec des clauses suspensives, en cas d'impossibilité d'achat elle et le vendeur n'auraient rien obtenu.
MERCI de vos infos et conseils.