Maison en location inhabitable suite à travaux de peinture.

Bonjour,
Nous avons signé un bail et fait un état des lieux de notre maison il y a trois semaines.
Quand nous avons fait l'état des lieux il y avait des réserves noté comme quoi des travaux restés à faire, et notamment des travaux de peinture. Au moment de signer l'état des lieux il y avait déjà une odeur de peinture, et depuis que l'artisan est revenu celles ci sont insupportables et du coup la maison est inabitable . De plus mon amie étant enceinte il lui a été formellement interdit d'y résider tant que les odeurs et autres émanations étaient persistantes.Après une tentative de négociation avec le propriétaire pour essayer de trouver une solution, celui ci nous a donner comme seule réponse que nous n'avions qu'à donner notre préavis qui est de trois mois, tout en continuant à payer le loyer d'un logement que nous ne pouvons habiter. Quels recours possibles avant nous???. Merci.