Achat maison litige AI

Bonjour,
J'aurai besoin de vos lumières concernant l'achat de notre résistance principale actuellement en conflit avec une agence immobilière.
Ayant repéré sur un site de vente bien connu une annonce pour une maison en vente en avril dernier j'avais pris rdv avec une agence pour visiter ce bien.
Entre temps j'en parle à une connaissance ayant une agence immo qui a en vente ce bien également.
Cette personne souhaite alors que l'on visite ce bien avec son agence et me demande d'annuler cette visite, ce que nous faisons avec mon conjoint.
Nous nous efforçons donnons rdv devant la maison avec l'agent immobilier le jour de la visite et repartons chacun de notre côté après la visite dans aller à l'agence et sans signer de bon de visite.
La maison nous plaît mais l'agent affirme ne pas pouvoir négocier ce bien et nous le trouvons trop cher.
Quelques semaines plus tard en feuilletant les annonces sur le bon coin nous voyons la maison en vente avec le propriétaire à 13 milles € de moins !
Ses coordonnées étant inscrites sur l'annonce nous décidons avec mon conjoint de le contacter et lui expliquons être intéressés par leur maison.
Finalement après discussion avec les propriétaires et après leur avoir expliqué avoir visité la maison avec l'agent que nous connaissions mais sans avoir signé de bon de visite nous décidons de traiter directement avec eux et d'acheter leur bien au prix fixé sur leur propre annonce.
Aujourd'hui nous sommes propriétaires de ce bien mais avons été dénoncés à l'agence par une personne de l'entourage de l'agent immobilier qui veut nous faire payer les frais d'agence.
Nous n'avons pourtant rien signé avec l'agence ni mandat de recherche ni bon de visite et les propriétaires n'ont même pas reçu à l'époque de compte rendu de visite avec nos noms.
L'agence affirme détenir un bon de visite et souhaite, si nous ne payons pas les frais d'agence nous assigner en justice.
Ils refusent également nous faire parvenir une copie de ce bon de visite fantôme et la copie du compte rendu de visite.
Que faire ?