Payement du loyer avec deux jours de retard

Bonjour,

J'ai un petit souci avec mon propriétaire que me réclame des pénalités de retard concernant mon loyer fixé au 5 de chaque mois.
Le chèque est envoyé le 5 (jour de paye) et il le reçoit en général le lendemain ou trois jours après (si jours fériés).
il me réclame des pénalités de retard car son loyer arrive TROIS jours après à son domicile.
En début de bail, je lui adressais le loyer le 20 pour un débit le 5 (comme convenu verbalement);
Or, le chèque était débité avant et engendrait de nombreux frais bancaires (et oui, pas la possibilité de régler deux loyers en même temps sur le même mois :().
je lui ai donc signalé que je ne ferai plus de chèque sans provision et lui enverrai désormais le chèque le 5 de chaque mois.
il n'accepte aucun virement
pourriez-vous m'informer de mes droits concernant ce problème rencontré et ses droits éventuels (j'ai contacté l'ADIL qui m'a confirmé qu'il n'avait aucun droit d'agir ainsi; mais je souhaiterais avoir un texte de loi qui le confirme)
je vous remercie par avance et vous félicite pour ce site que j'ai découvert par hasard ;)