Hébergement gracieux sous location

Bonjour,
j'occupe un appartement en collocation depuis 2005, avec mon frère et mon cousin, tous étudiants à l'époque.
Nos 3 noms figuraient sur le bail d'origine.
Mon frère a quitté l'appartement au début de l'été. Il a envoyé un courrier par recommandé au propriétaire, avec un préavis de 3 mois.
Le propriétaire, avec qui nous entretenons, bien malgré nous, d'exécrables relations, a refusé de prendre en compte son départ, nous enjoignant à quitter l'appartement tous les 3 si l'un d'entre nous partait.
Je me suis renseigné à l'ADIL de ma mairie, où les conseillers m'ont rassuré en m'affirmant que nous étions en règle et que nous avions le droit de rester dans l'appartement, même après le départ d'un d'entre nous.
Mon frère reste solidaire jusqu'à ce que nous quittions l'appartement, ce qui ne nous pose pas de problème.
Étant donné qu'il nous est impossible d'avoir le propriétaire au téléphone sans nous faire hurler dessus et menacer d'expulsion (nous n'avons jamais eu de retard de loyer, d'impayés, ni de problème de voisinage pourtant), nous n'avons pas essayé de lui demander s'il était possible de remplacer le colocataire partant pour un nouveau - puisqu'il a même refusé d'accepter le fait que l'un d'entre nous quitte les lieux.
Cependant nous avons accueilli un ami, à titre gracieux et provisoire depuis. Le propriétaire s'en est rendu compte, et menace de résilier le bail.

Les informations que j'ai recueillies depuis sont contradictoires: ais-je bien le droit d'héberger un ami chez moi, à titre gracieux? Le propriétaire nous répond par courrier que la "sous location, gracieuse ou payante, nous est formellement interdite" par la loi et par notre bail.

De plus il nous facture des frais de correspondance, d'impayés (impossibles, nous payons par virements automatiques), de relance, depuis le début. Je crois que c'est illégal. Que faire pour récupérer ces sommes indument versées?

Enfin, comment pouvons nous nous défendre face à un individu et à son entreprise (il est le gérant de l'agence qui gère la location de tout l'immeuble au nom du propriétaire) qui nous accuse à chaque fois de ce que nous n'avons pas fait (dégradations dans les parties communes par exemple), qui nous parle systématiquement sur un ton hautain et irrespectueux, qui nous raccroche au nez au téléphone, qui s'énerve systématiquement à la moindre de nos questions, qui a même insulté nos parents, qui invente des règles qui n'existent pas (comme refuser le départ de mon frère) pour nous contraindre à partir, qui nous a demandé plus de 700 euros de chauffage collectif en plus des charges sur l'année 2007, qui prélève des frais indus (correspondance, envoi de quittance de loyer, etc).

Il est vrai que nous occupons un appartement de 80m2 à Paris, loué environ 1200euros charges comprises, ce qui semble en dessous de la moyenne.
Je précise aussi que nous ne sommes pas les seuls à avoir ce type de relation avec lui, et que l'ensemble des autres locataires vivent le même calvaire.
Ne peut-on rien faire contre quelqu'un qui a manifestement choisi l'intimidation et la menace et le manque de correction comme manière de traiter ses locataires??

Merci beaucoup à tous