Litige propriétaire et locataire

Bonjour, voila je suis nouvelle sur le forum et je viens vers vous afin d'avoir vos conseils sur un problème avec mon proprio.
J'ai emménagée en nov 2011, chez un particulier, dont la maison présentait pas mal de travaux de rénovations à faire lors de la visite mais il précisait que ceux-ci allaient être effectués, lors de la signature du bail tout se passe bien, on le signe le 08/10 pour une entrée dans les lieux le 01/11, jusque là tout va bien. Le 01/11, on établie l'état des lieux d'entrée et le hic c'est que les travaux n'ont pas été fait, papiers peintures rien n'est fait, et il nous dit de le faire mais à nos frais et sans aucuns dédommagements pas le choix vu l'état de la maison donc vu que le bail était signé on était sur le fait. Ensuite à plusieurs reprise on lui signale des soucis importants, tel que fuite au salon à plusieurs endroits, inondation à la cave quand il pleut (toutes nos affaires sont abîmées), pas d'évacuation extérieur des eaux usagées car quand la machine vidange sa coule dans le cumulus et c'est une piscine dans la buanderie, pas d'escaliers extérieurs réglementaire avec garde corps, nous avons des parpaings qui font office d'escaliers, la porte de ma fille de 22 mois donne sur le grenier et la porte ne ferme pas et à un accès direct sur le toit, il devait la condamner avec du placo, même le robinet des wc n'a pas d'eau chaude et le siphon est fixé avec de l'adhésif, et celui de la salle de bain bouge comme je ne sais pas quoi mais sa il ne l'a pas mis sur l'état des lieux d'entrée, enfin avec tous ses travaux il nous disait je vais venir le faire et les mois passaient et toujours rien, nous avions même envisagé d'en faire par à la mairie de notre commune pour faire bouger les choses, et pis un jour hop une sms nous disant qu'il veut vendre la maison et qu'il ne ferra rien comme travaux, après 7 mois d'habitations pour un préavis de 3 ans il n'est pas gonflé surtout que nous avons refait l'intérieur à nos frais.
Nous avons reçu sa lettre avec AR 3 semaines plus tard c'est à dire le 27/06/2012 avec les modalités , il souhaite la vendre 180000€ avec une façade pourrie et autant des dégâts et j'en ai passé mais il est fou je n'achète pas ça!! Donc pour faire court je recherche une autre maison et là c'est bon on la trouve et tout se complique quand je lui renvoi une lettre de réponse avec AR lui disant que je refuse son achat et que je pars pour le 20/07 mais comme je paye mes loyers à l'avance je lui laissais ma caution de 800€ qui correspond à un mois de loyer pour lui régler les 20 jours de juillet comme ça je paye ma caution de l'autre maison car il est malhonnête, il ne paye pas ses traites de sa maison c'est pour ça qu'il la vend donc jamais il ne me rendra ma caution et sachant que c'est moi qui l'ai remis au propre c'est normal que je retrouve mes sous.
mais il me répond ce soir qu'il refuse ma proposition que je dois lui régler les 20 jours avant mon départ.
Je ne peux pas lui régler autrement que par ce moyen car c'est lui qui nous dit qu'il vend nous ont à toujours réglé nos loyers sans jours de retard on est pas riches non plus pour déménager sans arrêt, et payer comme ça des cautions, nous avons déménagé 2 fois depuis juillet 2011, car mon mari fesait 120kms par jours pour bosser, donc il a fallu se rapprocher du travail, si on aurait su qu'on aurait eu autant de problèmes on aurait jamais pris sa maison il a toujours été malhonnête et n'a jamais tenu ses engagements, que puis- je faire?

merci de vos conseils.