Remise en l'état d'un logement social après travaux sans accord

Bonjour,

Nous louons un appartement 1 % patronnal depuis décembre 2010. Lorsque nous sommes rentrés dans l'appartement, il était dans un état très passable. Sur l'état des lieux d'entrée, il est noté mauvais état pour quasiment toutes les tapisseries, plafonds et sols. Le bailleur avait fait repeindre la cuisine et la salle de bain et ne pouvait pas engager plus de frais. Cependant, bien conscient que l'appartement n'était pas très clean, il nous a fourni du papier peint pour retapisser nous-mêmes. Hum...
En juillet 2011, mon mari s'est décidé à rénover la salle de bain après avoir vu celle de nos voisins fraichement rénovée à leurs frais et avec accord du bailleur.
Idiots que nous sommes, nous n'avons pas demandé l'autorisation au bailleur, oubli très stupide, nous le concédons mais lorsque les travaux ont été faits il était trop tard pour faire machine arrière.
D'une salle de bain avec carrelage des années 60 tout abîmé et une baignoire avec une planche de bois comme tablier, nous enfin avons pu profiter d'une salle de bain digne d'un hôtel.
Mon mari a changé la vasque au profit d'un meuble ikea avec vasque, a changé le carrelage mural et au sol, et a installé une baignoire un peu moins longue.
De ce fait la configuration de la pièce se trouve changée.
Nous quittons notre appart dans un mois et la bailleur refuse de venir voir la salle de bain et nous demande la remise en l'état sans négociation. Il est impossible de retrouver le carrelage de sol d'origine car un carrelage 5 mm a été collé dessus. Sans dégrader la pièce, il est impossible de tout remettre à l'état d'entrée.
Je précise que plusieurs voisins de l'immeuble ont fait poser des douches (avec autorisation).
J'ai bien peur qu'en engageant des travaux, cela ne leur suffise pas et gu'ils se servent tout de même sur notre caution voire qu'ils nous mènent en justice. Mon mari souhaite ne rien faire car il ne voudrait pas se tuer à la tâche pour avoir à payer malgré tout.
Quant à moi je suis perdue, la salle de bain est superbe, nous avons réenduit et repeint tous les plafonds, retapissé toutes les pièces... je ne pense pas être une délinquante.
Quelle est votre opinion?
PS: Nous payons actuellement 1320 euros de loyer, le prochain locataire payera 1100!!!