Préavis réduit avec accord du propriétaire

Bonjour,

Alors voilà, je vous explique la situation. J'habite dans un immeuble du vieux centre ville, très humide (Moisissure dans la salle de bain, sur les murs, etc..). Depuis quelques mois maintenant je commence à avoir quelques problèmes de santé lié à l'humidité, rien de très grave pour l'instant, mais de la gène respiratoire, etc; ce qui est assez désagréable quand on ne peut pas se sentir bien dans son propre chez soi!
Nous avons donc trouvé autre chose et nous avons contacté notre actuel propriétaire qui compte tenu de la situation a accepté un préavis réduit à un mois menant au 15 août, nous avons donc envoyé une lettre recommandé avec accusé de réception lui stipulant notre préavis d'un mois comme il l'a été décidé par téléphone.
Seulement voilà, le propriétaire a beaucoup de mal à trouver un nouveau locataire pour son appartement, toutes les personnes qui viennent visiter se sentent immédiatement gênées par l'humidité.
Je viens de l'avoir au téléphone, et il semble insinuer que je ne vais peut-être pas pouvoir partir à la date prévue, a-t-il le droit de se rétracter sur le préavis qu'il a accepté?

Merci d'avance de vos réponses!