Litige:Annulation Bail avant entrée logement

Bonjour,

Le 15 juillet 2012 j'ai signé un bail pour une location d'un logement. Date début de bail : 23 juillet.
Le jour même, je fais plusieurs chèque au bailleur :
Frais de bail : 120€
Loyer juillet (du 23 au 31) : 135€
Une partie du dépôt de garantie : 85€
Loyer aout ( encaissement prévu le 15 aout): 599€

Malheureusement, suite à un problème personnel, je me suis vu dans l'obligation d'annuler le bail et ai donc appelé le bailleur le 18 juillet pour tout annuler. Je lui ai précisé au téléphone qu'il pouvait encaisser les 3 premiers chèques (240€ au total).
Je précise que je suis marié et que ma femme n'avait pas encore signé sa partie du bail!

Jusque là aucun soucis mais dans les environs du 15 aout, nous avons eu la mauvaise surprise de voir que le chèque du mois d'aout a été encaissé...

J'appelle immédiatement le bailleur qui me dit qu'il n'avait pas compris pour les 599€ et qu'il va voir avec ces associés mais que c'est pas normal et qu'il n'a pas à me les rendre...

Après plusieurs discussions, ils ont pris la décision de me rendre uniquement la moitié, chose que je n'accepte pas. Suis je dans mes droits? Que puis je faire pour récupérer la totalité des 599€?

Je vous remercie par avance