Achat maison sans l'agence

J'ai visité une maison avec une agence, j'ai donc signé un bon de visite, je précise que sur le bon étaient mentionnées mon nom et celui de mon compagnon (l'agence avait nos coordonnées depuis une visite pour un autre bien). Lui n'a pas signé puisqu'il n'a pas visité avec moi. Par contre, il est allé voir le propriétaire en direct le lendemain (celui-ci n'ayant pas signé de mandat exclusif). Nous voulons acheter cette maison directement au particulier pour éviter les frais d'agences toujours très importants, comment faire pour ne pas être poursuivie puisqu'ayant visité avec l'agence je dois normalement passer par elle. Y a-t-il un délai à respecter entre la visite et l'achat du bien ? Merci de vos réponses.