Bon de visite non-valable --> Annulation

Bonjour,
Nous avons visité un appartement avec une agence en signant un bon de visite uniquement à mon nom (mon compagnon et moi ne sommes pas mariés) ET avec une adresse erronée. L'agent immobilier a reconnu son erreur et nous a affirmé que nous pouvions désormais passer en direct avec le propriétaire.
Nous avons donc contacté ce dernier en lui faisant une offre, qu'il a accepté. Il a contacté à son tour l'agence, et l'agent immo leur a affirmé qu'ils pouvaient accepter notre offre et qu'il s'engageait à ne pas les poursuivre en justice pour le paiement de la commission.
Seulement, l'agent a parlé de ce problème à son supérieur et ils ont contacté le vendeur en le menaçant d'engager des poursuites...
Sont-ils dans leur droit sachant que le bon de visite s'est annulé?
Pouvons nous donc exiger de cette agence un documment stipulant qu'ils n'engageront rien contre le vendeur?
Comment pouvons-nous sortir de cette impasse??? Ils n'ont plus de preuve comme quoi nous avons visité ce bien!
Merci par avance pour vos précieux conseils...