Achat en direct sans passer par l'agence

Bonjour,
nous avons visité une maison qui nous plait beaucoup, nous l'avons certes connue par une agence sur internet mais l'agent n'avait jamais vu la maison, c'est une de ses collègue qui nous a fait la visite et il n'y a même pas assisté.Lors de cette visite il ne nous a pas fait signer de bon de visite.
le jour même et les jours suivant j'ai essayé maintes fois de le joindre afin de prévoir une autre visite j'ai laissé 2 messages sur son répondeur et il ne m'a jamais répondu ou rappelé alors qu'il était prévenu que nous voulions revisiter.
j'ai donc contacté directement le vendeur pour une nouvelle visite, suite à celle ci nous désirons faire une proposition, sommes nous contrains de passer par l'agence sachant que nous n'avons rien signé lors de la visite et que l'agent ne m'a plus donné signe de vie?
merci d'avance pour votre réponse.