Paiement des frais d'agence

J;ai accheté un bien en avril 2011; ce bien je l'ai visité avec une agence, puis ensuite nous avons laissé passé un peu de temps et nous avons vu cette même maison sur un site d'annonce aussi nous avons appelé directement le proprietaire pour traiter directement avec lui. donc nous prenons rendez vous avec lui qui nous dit qu'il veut bien baisser son pris car nous avions un budget à respecter. Nous lui expliquons que nous avons déjà visité cette maison avec une agence dans laquelle il l'avait mis en vente donc il nous dit de ne rien dire et qu'il s'occupait de retirer la vente de sa maison dans cette agence. Donc nous lui faisons confiance c'est notre premier achat et nous ne savons absolument pas comment cela se passe, donc la vente s'effectue avec ce propriétaire mais qu'elle ne fut pas notre surprise quand l'agent immobilier vint frapper à notre porte pour nous réclamer les frais d'agence! nous n'avions pas l'argent nécessaire donc il nous dit qu'il voulait bien nous faire un règlement à l'amiable mais qu'en espèces il nous demandait à chacun 25OO euros donc nous on lui dit qu'on ne pouvait donner une telle somme le propriétaire lui donne donc 2500 Euros en espèces et nous il nous demande en contrepartie un chèque en nous stipulant qu'en contrepartie des espèces qu'on pourrait lui donner tous les mois il nous rendrait notre chéque à l'issu du paiement des frais d'agence; Nous n'avons eu aucun papier qui stipule le montant de ses frais quels sont nos droits vis à vis de cet agent immobilier?