Problème avec le propriétaire

Bonjour, mon conjoint et moi occupons un appartement depuis 2015. Notre propriétaire, assez à l'aise avec nous se permettait régulièrement de venir chez nous sans prévenir pour effectuer diverses réparations que nous ne lui avons pas demandées. Peu de temps après nous avons eu un recommandé indiquant qu'il avait senti une odeur de cannabis chez nous et qu'il préviendrait la police si cela se reproduisait. Nous avons donc décidé de lui demander de ne plus venir chez nous sans prévenir sans quoi il restera dehors, ce qui est notre droit. Nos relations avec lui étaient donc déjà plus tendues. Nous avons ensuite eu plusieurs mésententes sur différents sujets comme la réparation d'un volet roulant électrique, une fuite d'eau aux toilettes, ou encore le fait qu'il essayé de me faire croire qu'il n'avait pas reçu la totalité des loyers précédents. Nos contacts se sont fortement détériorés et il est de plus en plus familier avec moi, il se permet de me dire des choses du style «le respect ca se mérite» quand je le recadre, enfin il a le don de me faire perdre mon sang froid...
Je fais face actuellement à deux problèmes :

- je traverse actuellement des difficultés financières et mon loyer qui doit être versé le 08 au plus tard n'est toujours pas payé ce jour le 15. A savoir qu'il a reçu un versement APL de la moitié du montant du loyer le 06. J'ai prévenu mon propriétaire le 12 (je sais j'aurais dû le faire avant) et à ma grande surprise il l'a plutôt bien pris.
Sauf que ce matin, il m'a appelé en furie en me disant que c'était inadmissible et qu'avec sa locataire mère célibataire il n'y a jamais de soucis et que ca va mal aller pour moi.. il me dit que les voisins se plaignent de nous (nous sommes 3 appartements) mais eux nous assurent que ce n'est pas vrai, on ne les connaît pas tant que ca donc je ne sais pas qui croire. S'en est suivie une question ahurissante «et si non vous avez toujours des problèmes de drogue?» apparemment je lui aurais parlé de mes problèmes de drogues qui m'auraient conduite à l'hôpital, «d'ailleurs au rez de chaussée ils me disent que ca sent le shit dans leur couloir».
Sauf que voilà je n'ai JAMAIS eu de «problèmes de drogue» et encore moins été hospitalisée pour ça, et je ne fume plus depuis plus d'un an... Alors la je ne sais pas ce qu'il cherche à faire mais c'est franchement degueulasse !
On en arrive la pour une semaine de retard de la moitié du loyer et il m'a déjà prévenue qu'il débarquait lundi...
Que puis-je faire pour qu'il me laisse la paix sachant que le montant restant lui sera payé dans la semaine?
Puis-je exiger des échanges exclusivement par écrit ? SMS emails peu importe pas pour l'ignorer mais pour éviter ou garder trace de tout débordement
Peut-il me forcer à le laisser entrer chez moi ? Même si il prétexte une visite technique de l'appartement (pas prévu dans le bail)

Mon second soucis :
Le bail indique vaguement les charges mensuelles, et ne donnent pas le détail de celles-ci. En janvier, pour la première fois depuis 4 ans, il nous a envoyé la photo par sms de notre compteur d'eau qui se trouve dans un local fermé à clef sur notre palier. Avec pour seule mention sur le sms «votre consommation au 1er janvier».
C'est la première fois qu'il fait cela, nous n'avons jamais eu de facture, de demande de régularisation ou quoi que ce soit, et n'ayant pas accès à mon compteur, je pense qu'il s'agit d'un système commun à tous les appartement de la maison. Pourquoi faire ca au bout de 4 ans ? Est ce que ca a de la valeur ? Doit il me fournir une facture de la compagnie des eaux si il veut une régularisation? Si non, doit-il détailler et prouver la somme demandée?

Vous vous douterez que j'évite au maximum de le contacter même pour de simples questions...
Je précise que je n'ai pas les moyens de déménager et mon dossier de logement social est en attente depuis presque 5 ans...

Merci aux courageux qui liront mon post jusqu'au bout et qui y répondront.
Désolée le pavé mais «on en a gros» comme dirait perceval

Bonne journée ou soirée