Agent immobilier demandant une comission en liquide sans facture

Bonjour,
J'ai un soucis avec un agent immobilier qui nous menaçais et nous demandais de l'argent en liquide.
Je vous explique vite fait. Je suis allez visiter un appartement il y a deux ans environ via un agent immobilier. Il m'a fait une visite de "l'appartement". Je met appartement entre guillemets car légalement je pense que l'on appel sa un local vu que le compteur d'eau et compteur électrique était a ouvrir. Légalement il me semble qu en france on ne peux pas proposer une vente d'appartement qui est non viabilisé. Déjà soit cette agent est incompétent soit il voulais m'arnaquer... Bref il me fait signer un bon de visite, je sort en me disant que je n’achèterai pas cet "appartement"... Et vu qu'il n'arrivais pas a répondre a toute mes questions et que finalement c'est le voisin de mon père on en parle directement avec ce dernier et finalement je suis convaincu pour acheter le bien. Nous signons chez le notaire sans l'agence du coup, sauf que le vendeur a signer un mandat exclusif avec l agence pour la vente.

Les travaux dur environ 1 ans et demi car il a fallut remettre toute l elec de l copro au normes (environ 9000€) plus refaire la charpente et une partie du toit (11000€) non prévue... Beaucoup de frais non prévu que l'agent m'as caché volontairement ou non. Par chance mes voisin de copro ont mis la main a la poche également...

Un ans après il à vu que la vente à été signé et ce procure la date de signature chez etc etc chez le notaire de manière plus ou moins légale suivant ce qu'il nous as dit.

L'agent m'as appeler pour que l'on paye la commission à l'amiable. Étant dans le rouge chaque moi je ne peux pas payer et l'ancien proprio a déjà vendu beaucoup d'appart avec l'agent et donc ne veux pas payer non plus car pour lui il abuse. Cependant vu qu'il insistais, nous avons décider de lui donner rendez vous chez moi, nous l'avons filmer et enregistrer pour pouvoir avoir des preuves en cas de problème.
Il nous a dit qu'il voulais 2000€ en liquide sans facture, et a la fin il voulais même 2500. Il nous menaçais de remonter le dossier à ses patron sinon. L'ancien proprio à essayer de faire un chéque pour voir ce qu'il disait mais il n'en a pas voulu.
Je pense déjà m'être fait avoir avec cet achat et de plus ayant refait un crédit pour payer les frais non prevu je ne peux et ne veux rien payer. Surtout que je suis certain que deux mois après le mec serais revenu demander de nouveau de l'argent ou alors aurait mis sa menace a exécution.

il y a quelques jours j'ai reçu une lettre demandant de régler la commission ou de trouver un accord a l amiable avec la société par laquelle est embauché cet agent verreux.

Quel recours avons nous moi et le vendeur contre cet agent? devons nous tout de même payer cette commission? Puis je porter plainte contre l'agent pour menace ou extorsion de fond? apparemment ce problème répond au critère.

Merci pour vos réponses