Problème : Le propriétaire ne veut pas rendre la caution

Bonjour,

Lorsque j'ai emménagé dans un appartement en 2015 l'état des lieux fut fait sans ma présence. J'ai accepté ne pensant pas que mon propriétaire était un escroc. Au fur et à mesure je me suis rendu compte de nombreux problèmes dans l'appartement, dont certains étaient déjà là avant que j'entre.
Lorsque j'ai quitté l'appartement et fait l'état des lieux le propriétaire s'était montré très vigilant, plus que lors de l'entrée dans l'appartement. Il a noté sur l'état des lieux quelques petits trucs qui étaient donc là avant mon entrée et d'autres qui ne relèvent pas de mon fait. Je lui ai stipulé que tous ces soucis ne venaient pas de moi et que de nombreuses fois je l'avais relancé et qu'il n'avait jamais agis. Il m'a répondu qu'il notait tout ça pour le principe mais que je ne serai pas sanctionné. Il m'a également dit qu'il m'enverrait la caution pendant le mois en cours. Hors je n'ai jamais rien reçu et après l'avoir appelé je vous le donne en 1000. Il se sert des dégâts qu'il a noté sur l'état des lieux pour justifier la non restitution de la caution de 350 euros. Que puis-je faire pour contrer mon propriétaire ?