Refus du loyer par le propriétaire

Bonjour,

Nous sommes locataires dans un logement depuis août 2009, le bail est de 3 ans.
Au moment de la prise du logement, l'agence avait négocié une baisse de 50 euros sur le loyer car le logement était très vétuste. Nous avons fait d'énormes travaux depuis 2 ans et demi.
Nous n'avons eu aucune augmentation de loyer durant ce temps (il me semble que c'est partout pareil?)
Au mois de déc 2011, sur un bout de papier, le proprio nous informe qu'au 1er janvier 2012 il augmente son loyer de 50 euros, soit 800 au lieu de 750.
Après vérifications des indices insee etc... je m'aperçois que nous devrions payer 771 euros d'après les cours.
Il a fait refaire le toît en novembre (il avait 100 ans et fuyait de partout, il n'y avait aucune isolation etc, )il aurait du le faire avant notre entrée dans les lieux non?
A-t-il le droit de nous augmenter pour ces travaux alors que depuis le début on lui a signalé de nombreuses fuites et moisissures?
de plus, les maçons en refaisant le toit sont passés à travers, nous avons 5 gros trous dans les plafonds du 1er étage. Nous avons tous remis a neuf (5pièces) sauf 2 pièces plus la cage d'escalier.Notre baignoire a aussi un trou qu'on a colmaté avec du silicone (sinon dégât des eaux). Bref l'habitation malgré nos travaux d'arrangement et de déco reste vétuste et je ne pense pas qu'elle résisterait à un bilan DPE.
Nous avons fait installé un poêle à bois et nous achetons le bois car les convecteurs fournis étaient trop vétuste, pas de double vitrage et pas d'isolation.

MES QUESTIONS:

Hier nous lui avons fait part de notre refus de payer 50 euros en plus de loyer, et lui avons dit que ce n'était pas légal son augmentation
nous n'avons pas pu discuter (vieux paysan têtu ) et il a refusé les chèques pour le loyer d'un montant de 750 euros. Il ne veut pas les prendre, comme ça il ne nous donne pas le reçu et comme ça (dans sa tête j'imagine) on aura des impayés.
Moi, je voudrais trouver une conciliation pour les 2 parties, qu'on se mette d'accord. je n'ai pas envie d'avoir ces soucis mais j'en ai marre que les gens ne respectent pas la loi. Que dois-je faire? De plus j'ai peur qu'il nous mette à la porte du coup à la fin du bail. Nous avons toujours payé notre loyer et ne faisons pas d'histoire ( l'agence a négocié au début le changement des prises qui n'étaient plus aux normes, le proprio vit comme au 19eme siècle et ça devrait être normal qu'on se contente d'une "porcherie" qu'était la maison avant nos travaux) L'agence ne s'occupe plus de ça, par contre le proprio a un avocat puisqu'il loue de nombreux biens.

Y-a-t-il des médiateurs pour nous aider sachant que cette tête de bourrique refuse toute discussion ?