Acheter un terrain chez le notaire

Bonjour,
Mon ami et moi avons visité un terrain que plusieurs constructeurs et agences nous ont parlé, sans nous le faire visité.Une agence nous a parlé du bien sans savoir ou il était exactement car la personne qui s'en occupé n'avait pas encore était le voir.

Alors on c'est débrouillé, et on l'a trouvé. Sur ce terrain un numéro du notaire et sa pancarte.
Nous avons donc pris rdv avec le notaire car il vendait d'autres terrains en face de celui trouvé tout seul.

Il nous donne le prix et la surprise une énorme différence de prix. On lui dit que nous avons pas signé de bon avec l'agence et que nous serions bien entendu intéressé pour l'acheter chez le notaire.

Est ce que nous pouvons le faire sans avoir à craindre de représailles financière par l'agence qui nous à rien fait signé , ni même fait visiter?
Merci