GROS PROBLEME avec agence immobilière

Bonjour, voilà mon conjoint et moi avons un soucie. Nous étions à la recherche d'une maison. Suite à nos recherche nous avons trouver, la maison appartenait alors à une agence. Nous avons pris rendez vous, a notre arrivé, nous avons croisé la propriétaire, qui est une personne de notre village, ensuite l'agent immobilier nous à fait visiter la maison, et à la fin de la visite, il nous a dit de signer un bon de visite, il nous a juste dit "c'est pour confirmer votre présence avec moi en ce jour". Suite à cette visite nous avons fait une demande d'emprunt qui a été refusé car les frais d'agence s'élevait a 7000€.
Nous avons ensuite directement appelé la propriétaire, qui nous a dit qu'elle boulait bien nous laisser la maison pour un certain prix, et que son contrat avec l'agence s'arrête le 14 février.
Si nous achetons la maison directement avec le propriétaire, sommes nous obligé de payer les frais d'agence? !