Retractation d'un bail avant sa signature

Bonjour,
je vous écris car nous sommes perdus, nous avons visiter une maison qui nous a plu, nous avons donc réserver ce bien en donnant le chèque de caution et un 1/2 loyer avant de signer le bail.
Nous n'avons toujours pas signés le bail car nous venons d'apprendre que ma compagne est licenciée à la fin du mois, seulement voila nous avions décider de prendre un logement à égal distance entre nos deux nouveaux lieux de travail (80 km entre ses deux lieux)
Mais vu que le contrat de ma compagne ne se poursuivra pas nous avons décidé de ne pas poursuivre avec ce logement car il n'y a plus d'intérêt à être aussi loin de mon logement.
Seulement voila le propriétaire veut bien nous rendre la caution mais veut garder le 1/2 loyer pour lui alors que nous devions rentrer dans le logement que mi septembre.

Que pouvons nous faire pour récupérer se 1/2 loyer car c'est une grande somme maintenant pour mon seul salaire.

Aidez nous s'il vous plait.
Donnez nous des arguments, des procédures et des textes de loi pour que nous puisons récupérer cette argent.

Merci de vos réponses.
Cordialement.