Différents sur frais d'agence

Bonjour à tous,

Je vous sollicite aujourd'hui afin d'avoir vos avis.
Je suis sur le point de signer un compromis pour l'achat d'un terrain.

Le problème est le suivant :
J'ai visité un terrain il y a environ 9 mois avec un agent d'un office notarial.
Pas d'info à l'office. Prix annoncé sur le terrain lors de la visite 83 k€ frais d'agence inclus.
Trop cher pour moi, je laisse donc tombé.
Un mois plus tard, le terrain est vendu pour 70k€. (le dégoût !)
Permis de construite accordé pour l'acquéreur mais refus du projet par la mairie et les habitants du lotissements.
8 mois plus tard, la vente est annulée devant le notaire.
Suite à ces rebondissements, le terrains n'est plus présenté à l'office notarial et le propriétaire décide de prendre les choses en main en vendant de particulier à particulier.
Ma concubine tombe par hasard sur l'annonce du terrain sur un site internet. Elle appelle et convient d'un rdv avec le propriétaire. A ce moment là, rien ne nous pousse à croire qu'il s'agit du même terrain (peu de descriptif dans l'annonce et surtout un prix bien inférieur)
A la visite, on se rend compte de cette coïncidence et nous l'annoncons au propriétaire.
Celui-ci est avisé mais nous rappelle sa volonté de passer de particulier à particulier ayant eu beaucoup de déboire avec l'office notarial. (qui avait surévalué le prix du terrain de manière à ce faire plus d'argent sur son dos).
Aujourd'hui, l'office est au courant de cette "revente" et réclamme des frais au titre de la visite réalisée avec eux il y a 9 mois.

Je ne me souviens pas avoir signé de bon de visite.
Qu'en pensez-vous ?

Cordialement,