Changement agence location

Bonjour,

Mon propriétaire actuelle s'est fâché avec l'agence qui nous loue le bien depuis 4 ans, il nous a demandé oralement si nous étions ok pour que cela soit en direct avec lui, pour nous pas de soucis , nous lui avons déjà fait 3 virements janvier-fevrier-mars, pouvions nous refuser ou pas du tout ?
Nous sommes un peu déçu car il s'est économisé les frais d'agence et nous à même pas déduit 50% sur nos loyers actuelle de ce que l'agence lui facturait... On aurait pu faire gagnant/gagnant...
Aurions pu nous exigé quelques chose ou strictement rien ? A quoi devons nous faire attention ?

Merci beaucoup !