Problémes de caution

Bonjour;
Voilà, j'occupe mon logement depuis le 1er juin 2011, pour un montant de 650 euros.
À mon entrée je n'ai pas signé d'états des lieux, ni eu de classement énergétique.
Je lui ai déjà donné 300 euros, alors que pas de barrières à l'escalier ( ma fille a marché bien avant qu'elles ne soient mises), pas de volets dans aucune pièce, pas de lumières dans une chambre, parquet de la salle de bain noirci ainsi que le mur qui s'humidifie à vu d'oeil parce que pas de joints a la douche, fissures entre murs et fenêtres dans toutes les pièces ( grosse perte de chauffage) ...
Ce mois-ci quand il ma demande le reste de la caution, après avoir pris son chèque pour le loyer, je lui est dit que je voulais d'abord qu'il fasse le nécessaire, il ma répondu qu'il souhaiterait me voir partir et que dés demain je n'aurais plus les clôtures de mon jardin.
(Il ce trouve que j'ai un chien et ne peut pas me permettre cela).
A t-il le droit de faire ceci? peut-il m'obliger a lui verser la caution alors que 300 euros ont était encaisser? peut-il m'obliger a partir? merci