Desistement d'engagement de location

Bonsoir,
Le 19 aout dernier, mon ami et moi, avons signé auprès d'un bailleur privé, un engagement de location pour un apt que nous souhaitions louer.
Sur cet engagement sont précisés, l'adresse du logement, le type du logement (mais pas de descriptif), le montant du loyer et des charges, la date d'occupation (prévue le 1er oct.) soit 1 mois et demi avant. et en "nota" : en cas de résiliation des présentes avant la prise de possession des lieux, le dédit sera égal à un mois de loyer
Finalement, nous nous sommes désistés le 10 septembre lors d'une rencontre avec le bailleur.
lors de la signature de la convention, le bailleur nous a réclamé un chèque égal à un mois de loyer + les provisions pour charges.(580 € + 40 €)
Il semblerait que cette procédure soit illégale du fait que le bail n'était pas signé, ni l'état des lieux rédigé. Le chèque a été encaissé
J'ai donc réclamé par Courrier Recommandé avec AR, le remboursement. Le bailleur me le refuse sous prétexte entre autre, que la convention vaut bail et qu'il pourrait même me réclamer plus et ce, avec appuis de son assurance protection juridique.
Pouvez vous me donner votre avis ?
D'avance, je vous en remercie
CARO