Achat direct après silence de l'agence

Bonjour,
Je viens vers vous avec une question à laquelle je ne trouve pas de réponse exacte sur Internet s'il vous plaît. Début Janvier, j'ai visité une maison avec une agence qui nous a plu. Nous avons fait une offre orale à l'agent qui n'a pas été accepté par les propriétaires. L'agent nous a envoyé des photos par email mais ne nous a jamais rien fait signer (pas de bon de visite). Or la maison est sur plusieurs agences et sur un site de particulier à particulier.
Nous avons par hasard revisité cette maison aujourd'hui avec les vrais propriétaires et là le prix est accessible pour nous. Nous avons été très déçus par la qualité de la négociation de l'agent, qui ne nous a pas appelé pour nous dire que l'offre était refusé et qui nous a raccroché au nez quand nous l'avons appelé parce que nous n'avions pas assez d'argent pour cette maison. J'avoue sans scrupule avoir songé à ne pas passer par l'agence. Pouvons-nous selon vous faire affaire directement avec les propriétaires ?
Si vous recherchez aussi une réponse à cette question, sachez que ce forum un thread existe déjà avec une question à peu près similaire mais sans échange d'email.
A bientôt, et merci d'avance pour vos conseils