Problèmes frais d'agence contrat de location

Bonjour,

J'ai récemment déménagé dans un appartement que je loue actuellement.
Je suis passé par une agence immobilière pour la visite de l'appartement.
Jusque là : rien de spécial ...

Seulement, il se trouve que l'agent immobilier est malhonnete : il m'a proposé de régler les frais d'agence soit "normalement" : un mois de loyer, avec une facture; soit en liquide (moins cher que la somme normale) sans laisser aucune trace...

Aujourd'hui, Il n'y a aucune trace écrite me liant à l'agence, le loyer je le règle directement au propriétaire, tout comme la caution lui était adressée.
Le contrat est au nom du propriétaire : l'agence se retrouve donc totalement transparente dans l'affaire...

N'ayant pas envie de financer une magouille où le propriétaire est certainement de mèche, suis-je en droit de refuser de payer les frais d'agence ? Que me conseillez vous de faire?

merci d'avance pour vos réponses.