Droit ou escrocrie

Bonjour,
je suis en litige avec mon agence immo et le vendeur d'un terrain. Ayant eu un projet de creation d'entreprise nous avions trouvé un terrain pour faire construir une maison qui aurai été exploité en totalité par notre entreprise. Ayant signé le compromis de vente du terrain très rapidement car emplacement idéal nous avons pris un peut de retard sur les demandes de prêt pour terminer notre buiseness plan, arrivant en fin de délais et toujours sans accord de banque nous avons contacté notre notaire pour lui demander de nous obtenir un délais supplémentaire, cet à dire au 1er sepetembre. Notre notaire ayant recu un accord écrit par le notaire du vendeur nous avons continué de parcourir les banques. Arrivé au 25 Août nous n'avions obtenu que des reffus donc envoyé tout les écrit à notre notaire qui les a envoyés au notaire du vendeur. Pour nous affaire terminé preuvent à l'appui. Vendredi matin courrier doit 5000€ vendeur et 3000€ agence. Car soit disant, ils n'ont pas donné leur accord pour le délais. Que faire et de quel droit l'agence peut éxiger une part de la comission si la vente n'a pas eu lieu. Notre notaire a le délais signé et approuvé du notaire du vendeur Merci de me répondre car cette histoire folle devient ingérable.