Moitié de la caution non rendue par le bailleur

J'ai loué une chambre dans une collocation pour une période de 4 mois (mai à août 2016) tout prêt de la frontière Suisse, en France et le bailleur refuse de me rembourser le solde de la caution de 1000 Euro, soit 500 Euro, sous prétexte que mon ami ait cassé la serrure du portail d'entrée, ce que je conteste. Mon ami avait sauté mi-juillet par-dessus le portail n’ayant pas la clé pour l’ouvrir et trois semaines plus tard, la clé est restée bloquée deux fois dans la serrure chez mes deux colocataires, dont l’un est le bailleur, mais jamais chez moi. Etant persuadé que mon ami ait endommagé le portail, le bailleur a retenu 500 Euros après l’état des lieux, à fin de pouvoir couvrir la réparation de la serrure du portail. Deux semaines plus tard, celui-ci m’envoie une photo de la facture de la réparation, qui indique un montant de 1'300 Euro. Il a alors profité de la situation pour faire remplacer tout le portail par un nouveau, à fin de pouvoir justifier la retenue de mes 500 Euro. Le bailleur a fait appel à un paysagiste avec lequel il a des liens familiaux, ce qui ne garantit en tout cas pas un travail purement objectif et neutre. J'ai envoyé un courrier recommandé au bailleur pour lui signifier ma contestation et ce courrier m'est venu en retour avec mention 'destinataire inconnu'. En ce qui concerne l'adresse, j'ai contacté la mairie ainsi que le poste de police, mais ces derniers ne peuvent pas fournir ce type de renseignement.

Pour les 500 Euro, il s'agit avant tout d'une question de principe, je pense que mon bailleur est une personne malhonnête. Il profite des autres et fait également des choses qui ne sont pas conforme à la loi (il dépose toutes ses poubelles dans le container des voisins, à fin d’éviter de payer les taxes). Je doute également qu’il déclare les loyers que ses colocataires lui versent (le versement devait se faire en cash).
Je suis décidée à mener ce cas jusqu'à restitution de la caution, même si des frais de justice sont à payer.

Je vous serais très reconnaissante si vous pouviez me donner des conseils.