Annulation de la réservation d'un gîte

Bonjour, j'avais réservé par erreur un gîte pensant que c'était une préréservation sur booking.com. En recevant les mails, je n'avais pas fait attention que la réservation était validées par mail. Je n'ai rien avancé ou quoi que ce soit. Le propriétaire me demande 500 Euros de frais d'annulation. Le site me dis que c'est son droit! Qu'en est il ? Dois je payer?
Merci