Annulation location après virement bancaire sans signature de contrat

Bonjour,
Après de multiples visite de logement nous somme tombé sur un homme qui c'est proposé de venir chez nous pour montrer des photos de son bien (deja c'etait la première fois en 10 visite que ca ce passais comme ca. Je vous dit cela car pour la suite c'est important). Donc il vient et pour seul photo il nous montre la devanture de sa maison. Bref on va la visiter et il et vrai que dedant il yavai pas mal de travaux qu il nous a dit qu il ferait avant notre entré si nous prenions la maison. Dehors un immense jardin et c'est la le soucis car ducoup on s'est laisser tenter.
J'ai effectué un versement bancaire de 580euros (exigé par le proprio et unique moyen de payement accepté de sa part) comme caution pour avoir un logement sans meme avoir effectué de bail.je me suis rétracter très vite car je trouvais que bcp de chose était louche.il ne veut pas rembourser et pire me demande de payer les travaux qu il a effectuer(sur la facture il a pris les 580 pour payer une partie et demande le reste, il nous a meme facturé sont deplacement chez nous) qu il a effectué alors que je n'ai jamais habité dans cette maison et qu on c'est rétracter moin de 2semaines apres le virement. Il envoi beaucoup de courrier avec marquer : progression de dossier.
Il agit comme un robot on dirait.
Je suis abatu car c'est une somme assez enorme pour moi et ma famille.
J'espere avoir de l'aide de votre part
Ps: apres le virement il m'as envoyer un recu.
Merci d'avance a tous