Bon de visite et frais d'agence

Bonjour,
A la recherche d'un terrain, j'ai effectué le 5 octobre une visite avec un agent immobilier. Celui-ci voulait me faire remplir immédiatement une promesse d'achat alors que je ne pourrais réellement acheter le terrain qu'en 2013 ce dont je l'avais prévenu. Il m'a donc trainée à son agence et m'y a fait signer le bon de visite en essayant une nouvelle fois de me mettre la pression pour que je signe de suite. Sur l'emplacement du terrain, j'avais vu les coordonnées du vendeur et je lui ai téléphoné pour voir s'il était possible d'obtenir une réservation de ce terrain. Le vendeur s'est montré étonné de ma visite dont il n'avait pas été prévenu d'autant que son contrat s'arrêtait avec cette agence le 03 octobre. Il m'a donc proposé, après avoir rappelé l'agence pour leur dire qu'ils n'avaient pas le droit de faire visiter le terrain après la fin de leur mandat, de faire affaire directement sans passer par un intermédiaire et de me réserver le bien puisqu'il n'était pas pressé. Il a néanmoins été contacté par l'agent immobilier absent lors de son 1er coup de fil (une secrétaire avait pris le message) et des menaces de coups ont été proférées à son encontre. En ce qui me concerne, je n'ai eu aucun contact avec l'agence depuis lors.
Pourriez-vous me conseiller sur ce que je dois faire ?
Le vendeur et moi sommes-nous dans notre bon droit ?
Merci de vos réponses.