Désaccord sur visite immobilière

Bonjour,

Samedi nous avons pris RDV avec une agence immobilière qui nous a proposé de visiter trois maisons ce matin.
Seulement hier, je vois sur le site PAP une des maisons que l'agence doit me faire visiter, mais 19000€ moins chère. Je prends donc RDV directement avec le vendeur pour ce soir.
Ce matin, mon mari, qui était seul pour les visites d'agence , précise à l'agent qu'il ne souhaite pas visiter cette maison avec l'agence en précisant que nous avions vu la maison moins chère via PAP. L'agent prétexte que la visite est prévue au planning et qu'il faut la visiter tout de même.
Bref mon mari la visite. Et nous nous rendons ce soir tout de même au RDV fixé avec le vendeur.
Nous revoyons l'agent immobilier plus tard dans la soirée dans le cadre d'une autre visite et à l'issue de celle ci, il fait le compte rendu des visites de la journée. Y compris la maison en question en nous disant que désormais, comme nous avons visité la maison via l'agence, le vendeur ne pourra pas nous la vendre directement.
Je ne suis pas d'accord car mon mari avait bien précisé qu'il ne voulait pas la visiter et de plus, nous n'avons signé aucun bon de visite.

Ma question est donc la suivante : avons nous encore le droit de négocier directement avec le vendeur puisque nous n'avons rien signé avec l'agence ? Elle n'a que son compte rendu.

Merci d'avance pour vos réponses.

Émilie.