Annulation d'un compromis de vente - Dois je payer des indemnité

Bonjour,

Moi et mon ami avons signé en début d'année un compris de vente avec une agence immobilière pour l'achat d'un terrain dans le but de construire une maison.

Le compromis de vente à été signé par nous ainsi que par le vendeur.

Une première date avait été conclue avec le notaire dans le but de signer l'acte authentique.
Sachant que tous les documents n'étaient pas réunis, l'agence immobilière a repoussé le rendez-vous devant le notaire.

En attendant une deuxième date, moi et mon ami avons décidé pour X raisons de rompre et d'annuler le contrat.
Comme stipulé dans le compromis de vente, nous devons régler au vendeur 10% de la somme totale en indemnités.
Aussi, l'agence nous réclame 10% pour les indemniser pour le travail qu'ils ont fait.

Or, après m'être renseignée auprès d'un notaire et d'un avocat, ces derniers me disent que je n'ai pas a payer cette somme puisque l'acte authentique devant le notaire n'a pas été fait.

L'agence quand à elle me dit que c'est obligatoire car nous avons annuler la signature de l'acte authentique alors qu'en fait non puisqu'aucune autre date n'avait été prise.

Devons nous payer ces 10% à l'agence ?

Pour information, voici ce qui a été noté dans le contrat :
"En conséquence, chacune des parties s'engage à régler audit mandataire dès que l'opération conclue par son intermédiaire aura été constatée par acte authentique, la rémunération ou partie de rémunération prévue à sa charge, figurant au mandat et indiqué ci-dessous : 4 000 €"