Que faire face à une agence immo incompétente

Bonjour,

Au mois d'Août de l'an dernier, en nous baladant, nous avons eu mon amie et moi un coup de coeur pour une maison de village sur laquelle était accroché le panneau d'une agence immobilière.
Après avoir questionné quelques passants, nous avons eu les coordonnées du propriétaire et avons tenté de passer en direct. Celui-ci nous a rapidement répondu qu'il s'agissait d'une succession et qu'il préferait que l'on passe par l'agence.
Par dépit, nous avons donc appelé cette agence qui nous a rapidement fixé un rendez-vous sur site. Le jour J : grande surprise, c'est une stagiaire qui vient d'arriver et qui nous précise qu'elle n'y connait rien du tout, qu'elle débute et qu'elle n'a aucune info sur le bien. Elle nous ouvre donc la porte et nous laisse visiter seuls sans aucun détail sur le bien. Il est important de préciser que c'est une maison ancienne et qu'il y a de nombreux travaux à réaliser... Elle n'avait d'ailleur pas toutes les clés de la maison que nous n'avons donc pas visité entièrement.
A la sortie, elle nous demande de signer un morceau de papier nous précisant qu'elle devait "justifier sa visite", nous ne savons pas si c'est un fameux "bon de visite" ou autre chose, toujours est-il que nous n'avons pas de double.

Très pris par nos activités professionnelles, nous avons laissé nos recherches de côté jusqu'au printemps 2011. L'agence ne nous a pas recontacté pour une seconde visite, elle ne nous a transmis aucune information complémentaire sur le bien, rien du tout, RAS !

Bref, le printemps arrive et nous continuons nos recherches. En repassant devant cette maison nous constatons que le panneau n'est plus là !!! La maison ne semble pas habitée, nous décidons donc de recontacter le propriétaire pour en savoir un peu plus. Celui-ci nous informe qu'il a rompu le contrat d'exclusivité qu'il avait signé avec l'agence qu'il trouve incompétente.

Aujourd'hui, nous sommes toujours intéressés par ce bien, le propriétaire serait d'accord pour passer en direct. Cependant, dans son contrat il est bien précisé que cela lui est interdit avec toutes les personnes ayant visité le bien (délai 12mois après la rupture).

QUE PEUT-ON FAIRE ? Est-on tenu de passer avec l'agence sachant qu'elle n'a eu aucun rôle décisif dans la recherche du bien ni même dans le déclanchement de la vente. C'est notre premier achat, nous sommes un peu perdu...

Je précise que nous ne sommes jamais allé à l'agence et que nous n'avons jamais rencontré de véritable agent immobilier, nous n'avons eu aucune infos sur le bien. Je précise aussi que le contrat d'exclusivité du propriétaire n'est ni paraphé, ni daté et que l'agence continue de proposer le bien à la vente et de l'afficher alors qu'elle n'en a plus l'autorisation, cela prouve son sérieux...

merci par avance pour votre aide.