Ne pas passer par une agence

Bonjour j'ai visité une maison en passant par une agence. Suite à deux visites j'ai fait une offre transmise à l'agence. Celle ci m'a dit qu elle ne transmettrait pas mon offre au propriétaire car l'offre n'était pas assez élevée par rapport au prix demande.
J'ai donc parle directement au propriétaire qui ma dit que mon offre était discutable.
Les propriétaires n'ont pas l'exclusivité avec l'agence mais ont peur des représailles possible de l'agence si on passe en direct pour l'achat de la maison en laissavt l'agence sur la touche.
Que risque réellement les propriétaires s'ils me vendent la maison en direct?
Finalement l'agence n'a pas voulu négocier avec moi donc logiquement c'est tanpis pour eux non?
Merci pour vos réponses avec des liens vers des lois svp .