Problème de gestion locative

Bonjour,
J'ai signé un bail commercial directement entre mon propriétaire et moi, pour des questions de facilité il m'a toujours demandé de passé déposer le loyer a une agence Foncia (qui ne voulait pas m'attribuer le local).
Depuis quelques temps il me facturent des pénalités pour retard de paiement.
Ma question est la suivante, puis je directement passer par mon propriétaire et ne plus avoir à faire a cette agence dont je n'ai aucuns documents contractuels (je reçois juste des quittances)?
Cordialement