Paiement du premier mois de loyer et droit de rétractation

Bonjour,
J'ai visité un appartment à louer hier soir avec le propriétaire des lieux. Le propriétaire m'a mis la pression en me disant que je n'avais pas le temps de réfléchir ni de revenir visiter l'appartement plus tard avec ma famille: soit je lui notifiait mon accord verbal directement pour louer le bien ou alors, il le donnerait à une autre personne (d'après lui, 3 personnes devaient lui renvoyer un dossier et il choisirait parmi eux si je ne me décidait pas tout de suite). Sous le coup de la pression, je lui ai dit que je prenais l'appartment. Il m'a réclamé 500€ (1er mois de loyer) à lui payer en liquide directement, ce que j'ai naïvement fait. Le propriétaire m'a écrit un reçu mais je n'ai rien signé du tout. Mois de 2H plus tard, j'ai recontacté le propriétaire pour lui notifier que j'avais changé d'avis et que je ne souhaitais plus louer l'appartement et que je souhaitais récupérer mes 500€. Le propriétaire m'a tout d'abord demandé de garder une partie de l'argent comme dédommagement du préjudice subi car d'après lui, comme j'avais notifié mon accord verbal, il avait refusé de recevoir d'autres visites (alors que d'après lui, il était déjà en attente de 3 dossiers de candidature) et il m'a également menacé de me réclamer 2 autres mois de loyer en dédommagement car cela est inscrit dans la loi d'après lui.
Etant donné que je n'ai rien signé et que je me suis rétractée rapidement, le propriétaire a-t-il le droit de ne pas me restituer mes 500€ (qui d'après lui, représentait le 1er mois de loyer d'un appartment que je n'ai pas occupé - libre à partir du 01/01/13 ) et peut-il me réclamer davantage d'argent un prétendu préjudice?
Merci d'avance pour votre aide.