Visite agence achat notaire?

Bonjour,

Voici la situation :

Nous sommes allées visiter une maison avec une agence immobilière.
Nous n'avons pas signé de bon de visite ni échangé aucun documents. Le seul contact aura été par télephone et le jour de la visite l'agent immobilier était seul.
En visitant la maison nous avons vu qu'elle était en vente par un notaire.

Nous avons donc contacté le notaire qui la proposait moins chere.
Nous avons fait une deuxième visite avec le propriétaire (il se trouve que la maison appartient à des associations) et nous sommes pret à signer le compromis.

Devons nous craindre que l'agent immobilier se retourne contre nous?

Merci pour vos réponses