Offre d'achat refusée, mais non transmise. L'agence en tort?

Bonjour,

J'ai déjà vu des sujets similaires ici et là sur le net, mais j'aimerais néanmoins avoir un avis sur la question, étant donné que j'obtiens des avis différents selon les intervenants :

J'ai visité un appartement avec ma compagne il y a un mois via une agence immobilière. Nous n'avons pas signé de bon de visite.
L'appartement nous plais, on fait une offre d'achat ÉCRITE inférieure au prix demandé par le vendeur, que l'on remet à l'agence.
L'agent immobilier communique ORALEMENT l'offre au vendeur, qui la refuse. J'insiste sur le fait que l'agent immobilier n'a pas transmit notre offre écrite au vendeur, qui ne signe donc rien (doit on signer quelque chose si on refuse une offre?).

On laisse tomber vu qu'on peut pas mettre plus financièrement. 2 semaines plus tard, joie, l'annonce de l'appartement parait sur le bon coin. Naif que nous sommes (c'est notre premier achat, soyez indulgent svp... ^^) nous allons discuter directement avec le vendeur. On se met d'accord sur un prix, mais on se dit qu'on va quand même prévenir l'agence. Bon, là on s'est rendu compte qu'on a pas le droit de faire ca car il faut payer la commission de l'agent.

Cependant en en discutant avec un ami notaire, ce dernier m'a précisé que si l'agent immobilier n'a pas transmis l'offre d'achat au vendeur, et que ce dernier n'a rien signé en refusant l'offre, nous ne risquions rien et qu'on pouvait donc faire affaire directement entre particuliers sans risquer de poursuites de la part de l'agence.

Alors, qu'elle est la part de vérité dans tout ca? Je débouche le champagne ou je le garde au frais encore quelques temps?

Merci pour votre aide!