Problème complexe avec notaire + agence +emprunt

Bonjour,
Voici le cas sur lequel j’aimerai un avis d’un notaire indépendant :
Achat d’une maison à 60 000 eur par le biais d’une agence qui fait un sous seing pour le compromis. Bien financé par un emprunt : offre de prêt acceptée en juin .

- Date de signature du compromis 17 mars , avec délai de rétractation pour non obtention du prêt au 17 Avril (sous seing par l’agence)
NB Le compromis est signé avec une référence du bien au cadastre et avec une date de signature de l’acte au 29 Juin
- Le 29/06 les parties sont convoquées pour la signature mais celle-ci ne peut pas avoir lieu car le notaire constate que la réf du cadastre est fausse
 Report de la date de signature au 29 /09 soit 3 mois plus tard, sans signature d’avenant au compromis qui redonnerai la possibilité à l’acheteur de se rétracter

Entre temps, mi-septembre le vendeur dont le projet et la situation professionnelle a changé souhaite de retracter et fourni une attestation de refus de prêt de la banque (Perte de son emploi) .

Le notaire rejeté en invoquant le délai initial de rétractation au 17 avril…. Et demande à l’acheteur de payer : 6000 eur au vendeur +4500 eur à l’agence +1000 au notaire soit 11500 eur !

Quel est le meilleur recours pour l’acheteur qui a essayé de demander sans succès une réduction des frais d’agence.

Merci d’avance