Retractation apres accord verbal

Bonjour, voila j'ai un petit souci avec une entreprise de location immobiliere, nous avons visité l'appart samedi et dimanche je lui est dis au telephone que nous le prenions.
Malheureusement pour lui qq'un de ma famille me contact hier pour un appart qui se libere que j'aurai pour beaucoup moins cher que le premier.
Je lui est donc annonce ce matin que nous nous retractions (je sais bien que c'est moche pour lui, mais je vais pas payer plus cher pour la meme chose).
Le probleme est que maintenant il me menace de m'envoyer une facture d'indemnité de l'ordre de 400 à 500€. Je me dis que ce n'est qu'un accord verbal qu'il ne peut rien faire mais je voudrais l'avis de qq'un qui s'y connaisse.