Proprietaire Malhonnete

Bonjour,
je me retrouve face a un dileme car notre ancien proprietaire fait ces lois lui meme!!.Nous avons du quitter notre appartement rapidement pour la sante de notre bebe et la notre car celui ci a ete declaré insalubre par les services de l'ordre (Moisissure,travaux pas finis surconsomation d'energies etc...)Lors de l'etat des lieux de sortie prevu le 30dec 2010 les proprietaire nous on oblige a repeindre l'appartement car les trous que nous avions rebouché ne leur convenaient pas (sois disant)... ! Nous l'avons fait pour eviter les histoires avec eux meme si nous nous sommes senti abusé.Nous avons rendu les cles le 30 déc 2009. pour effectuer les travaux le proprietaire nous a demande d'effectuer les travaux de renovation du 11 au 15 janvier 2010 soit 5 jours (preuve en recommande) et arrangement fait en presence de la police municipale mais nous n'avions plus les cles ils venaientt nous ouvrir le logement quelques heures par jour. le logement a bien ete remis en etat. notifie sur l'etat des lieux.
A Notre grande surprise ! ils ne veulent pas nous restituer la caution integralement voici leurs propre explication:
"Considerant qu'a la date de l'etat des lieux soit le 30 dec 2009 le logement n'etait pas remis en etat ( et c'est faux preuve des temoingnages des voisins) et ayant accepter de vous laisser un delais supplementaire ( de 5 jours) pour effectuer les travaux a moindre cout nous n'avons reelement pris que possession de l'appartement le 15 janvier 2010 donc en consequence il est correcte de dire que la moitie du loyer reste a votre charge soit 280 Euros. Est ce légale???? alors qu'ils ne pouvait pas relouer cet appartement tant que les travaux concernant la moisissure et autre ( faute de mal facon lors de la construction du logement et du manque de responsabilite des proprietaire) n'etaient pas effectuer et cela sous l'ordre de la police municipale et ils ne sont meme pas venu faire un pre etat des lieux de sortie!!! Merci de nous aider . Ness