Valeur juridique du bon de visite

Bonjour,
Ma compagne et moi-même sommes en pourparlers pour acheter un appartement.
Je vous récapitule les faits:
Il y a 1 mois, nous voyons sur internet une annonce postée par une agence concernant un bien qui remplit tous nos critères.
Nous le visitons avec un employé de cette agence, après avoir signé un bon de visite.
L'appartement nous plaît beaucoup, nous souhaitons nous positionner immédiatement et l'acheter au plus vite sans négocier.
Il nous dit que ça ne marche pas comme ça, qu'il nous enverra un mail le lendemain et qu'on pourra alors faire une offre en bonne et due forme.
A peine sortis de la visite, ma compagne reçoit une alerte leboncoin concernant le même appartement vendu de particulier à particulier 6000 euros moins cher.
On se dit "tant pis, on a signé avec l'agence, on est bloqués avec eux"
Je contacte quand même la vendeuse grâce aux coordonnées de son annonce pour voir le genre de personne dont il s'agit, elle me paraît honnête.
Le lendemain, le mail se fait attendre, tant et si bien que la propriétaire finit par me contacter pour me dire que le bien est vendu PAP.
Nous sommes très déçus, mais c'est le jeu, et nous nous efforçons de faire le deuil de cet appart.
L'agence m'envoie le mail, me demandant toutes les pièces, j'essaie de les contacter pour leur dire que je ne vois pas l'intérêt, ils sont injoignables, je leur laisse des messages exprimant notre incompréhension, ne sachant plus à quel saint me vouer.
S'en suivent 3 jours de yoyo, ou je suis balloté entre cet agent qui visiblement ne veut pas laisser filer sa com, quitte à m'abreuver de faux espoirs, et cette propriétaire, qui me dit que si si, l'appartement est promis.
L'agent finit par admettre qu'il est effectivement promis, après m'avoir fait tourner en bourrique de manière éhontée.

En dernier recours, je dis à la propriétaire que si quelque chose vient annuler sa vente, elle peut me recontacter et que mon offre tiendra toujours.

Elle vient de le faire, et je voudrais savoir si nous risquons quelque chose (la propriétaire ou nous les acheteurs) en faisant fi du bon de visite et en concluant la vente en se passant de cet agent dont l'incompétence et le manque de réactivité nous ont déjà fait rater la vente une fois.
Elle ne leur avait pas donner l'exclusivité et j'ai cru lire sur le site que du coup la valeur du bon de visite était toute relative, mais cet agent aura-t-il un pouvoir de nuisance?

Désolé d'avoir été si long et merci d'avance pour vos réponses.