Pas de visite, pas de bon de visite signé, quelles obligations

Bonjour, je vous expose mon problème (et désolé d'avance pour la longueur).

Il y a 3 mois, je me suis rendu dans une agence afin de leur demander s'ils avaient des terrains à me montrer dans les environs de là où je loue actuellement. Après une 1ère visite non-concluante, ils me parlent de 2 biens qu'ils gèrent également mais un peu plus éloignés. Après avoir parlé plus longuement, ils se trouvent par hasard que je connaissais déjà ces 2 terrains puisqu'ils sont en ventes en face de chez mes beaux-parents depuis 1 an et que je connais le propriétaire. Ils me demandent alors si je suis intéressés, je leur dit que ça pourrait peut-être le devenir, mais que pour l'instant, ce n'est pas ma priorité et que je voudrais chercher plus près de ma location actuelle.

Après plusieurs semaines sans rien avoir trouvé de mon côté avec mes propres recherches, je recontacte l'agence afin de savoir s'ils ont d'autres biens à me faire visiter. Nous convenons d'un rendez-vous pour un autre terrain, que nous visitions la semaine dernière, mais qui ne m'intéresse pas également. L'agent revient alors à la charge en me demandant si les terrains en face de chez mes beaux-parents m'intéressent toujours. Je lui dit que oui, mais que je le tiendrais informer en temps voulu, et en justifiant que de toute façon, le prix auquel il était affiché était trop élevé pour mon budget actuellement.

Sur le chemin du retour, une envie me prend d'appeler malgré tout le propriétaire des 2 terrains que je connaissaient, afin d'avoir des informations sur ses terrains, sur le prix qu'il en souhaite, etc, ça ne me coutait rien. Après de longues minutes de conversation, il se trouve que le propriétaire me propose finalement un prix très intéressant et totalement dans mon budget, prix qui n'était pas le même que celui proposé par l'agence (5000€ de moins, j'en déduis donc qu'il devait y avoir les frais d'agence inclus dans ce prix mais qu'elle ne m'en avait pas informer).

On se met donc d'accord directement avec le propriétaire, le soir même de ma précédente visite qui ne m'avait pas séduite, sur un prix d'achat/vente. Il m'informe également que l'agence l'avait prévenue qu'une personne était intéressé, mais sans lui communiqué les noms/prénoms donc il ne savait pas qui c'était. Je lui ai donc dit que ça pouvait potentiellement être moi, mais sans en être sûr. Il m'affirme alors qu'il est en mandat sans exclusivité avec l'agence et que du coup, il était autorisé à vendre son bien directement, sous réserve qu'il respecte les clauses qui y sont inscrit. Je le rassure alors sur le fait que je n'avait ni visité le terrain, ni signé de bon de visite avec l'agent et que donc je n'étais pas engagé avec eux pour son bien (l'agent n'a sans doute pas jugé bon de le faire puisque je lui ai rappelé à maintes reprises que je connaissais déjà ces terrains)

Cependant, le lendemain, l'agence m'appelle 3/4x afin de me dire si je faisais une offre pour les terrains en face de chez mes beaux-parents, afin de les bloquer et stopper les visites. Au bout du 4ème appel, en ayant marre de leurs appels incessants, je décide de décrocher et leur "lâcher" un prix oral (qu'ils voulaient impérativement entendre) très insignifiant, en sachant pertinemment que s'il voulait faire une offre avec, elle allait être refusée (même pas la peine d'être communiquée au propriétaire) et que pour le coup, ils me ficheraient sans doute la paix (j'aurais également pu leur dire simplement que je ne voulais pas qu'ils s'occupent de cette transaction mais sous le coup de la pression et des harcèlements téléphoniques, j'ai fait cette erreur de leur communiquer un prix). C'est à ce moment là que je me suis rendu compte de mon erreur, puisqu'en proposant une offre orale, même bidon, je me suis demandé si l'agence n'avait du coup pas pris la main sur moi et envisagé que je passe directement par eux pour d'éventuelles négociations et qu'ils ne me lâcheraient plus.

Et c'est là que le cauchemar commence, puisque je les rappelle le lendemain (pris de remords) pour les avertir qu'en toute honnêteté, j'avais déjà fait une proposition au propriétaire et qu'on s'était mis d'accord sur un prix de vente et que j'avais fait cette offre avant d'avoir l'agence au téléphone (offre que j'avais fait précipitamment sans juger les conséquences), et que je m'excusais de ne pas les avoir tenu informé avant. Seulement, eux m'informent qu'ils avaient quand même soumis mon offre au propriétaire (je me suis décomposé) et qu'il l'avait refusé (le propriétaire ne savait pas de qui venait l'offre puisqu'ils ne lui ont pas communiqué et donc n'a pas tilté). Le propriétaire a également appelé de son côté, comme il devait le faire, pour avertir l'agence qu'il avait trouvé un acheteur (donc moi). Sauf que dorénavant, l'agence ne l'entendait plus de la même oreille. Ils ont pris parti de vouloir impérativement empêcher la vente ou l'autorisé seulement s'il recevait leur commission comme il se doit, car ils pensent avoir participer aux négociations (grâce à l'offre orale que je leur avait fait et qu'ils avaient transmis au propriétaire) et jouer un rôle dans la transaction qui s'est faite directement avec le propriétaire.

Ma question est donc la suivante : du moment que l'agence ne m'a pas fait visité le terrain ou fait signé le bon de visite, et que le propriétaire a bien respecté les clauses du mandat (posé toutes les questions de vérification avant d'accepter ou non d'effectuer une vente directe), a t-elle le droit de nous empêcher d'effectuer la vente?

Un prix donné à la volée oralement suffit-il à impliquer l'agence dans une phase de transaction et à la faire concernée? Alors que je n'ai rien signé avec l'agence, que je n'étais pas engagé avec eux, et que je ne leur ai jamais demandé de s'occuper de cette négociation puisque je les avais prévenu que je connaissais les terrains et le propriétaire.

L'agence a bien commis une erreur, ils l'ont a demi-avoué (le fait de ne m'avoir rien fait signé), et nous n'avons rien fait d'illégal puisque nous avons respecté la loi, mais pourtant, ils s'entêtent quand même à vouloir leur part alors qu'ils n'ont rien fait pour moi ou le propriétaire directement et qu'ils promettent de nous envoyer les avocats et réclamer dédommagements + commission.

Que puis-je faire, quels sont mes recours? En sachant que c'est une situation que je vis actuellement en direct, pouvez-vous me donner des réponses?

Je vous remercie de m'avoir lu.