Depot de garantie encaissé par le propriétaire malhonnetement

Bonjour,

je rencontre un problème suite à la location d'une maison pour un we et je souhaite savoir ce que je suis en droit de demander et la marche à suivre (je trouve de nombreuses informations mais je ne suis pas sure qu'elles s'appliquent bien à mon cas). Je m'excuse par avance de la longueur.

voici les faits:
Nous avons loué une maison le we du 17/05 au 19/05/19 (par le biai d'un site connu entre particuliers).
Un chèque de dépot de garantie a été envoyé au propriétaire accompagnant le règlement du we, et un contrat de location a été signé.

Un état des lieux a été fait à l'arrivée et signé (avec une personne responsable des clés sur place car le propriétaire réside loin et lui laisse la charge de remise de s clés et de l'EDL)
L'état des lieux à la sortie a été fait toujours par la même personne, mais cette fois oralement, nous n'avons rien signé. Nous avons donc quitté la maison le 19/05.

Le 15/06 nous avons constaté que le chèque de caution a été débité en date du 14/06. J'ai aussitôt mis un mail au propriétaire afin de m'assurer qu'il s'agissait là d'une erreur puisque la maison a été rendue en parfait état , vérifié par la personne en notre présence.

le contrat stipule 2 choses:
- "depot de garantie restitué sous 1 mois maximum après le départ, déduction faite le cas échéant des sommes couvrant les dommages [...]"

- "A defaut d'EDL/inventaire à la fin de la location, l'absence de contestation par le bailleur dans les 48h suivant la fin de location vaut restitution des lieux en bon état /inventaire complet"

Le propriétaire a d'abord indiqué un dégat de sol, avec une photo selon lui du 23/05 et demande de s'entendre à l'amiable.
Bien qu'étant sûrs de l'état à notre sortie, et sans la photo datée pour preuve, nous avons bien voulu garder le doute que nous serions passé à coté (sol sous un lit) et qu'on se renseigne auprès des assurances, mais que le montant de garantie est trop élevé pour le dégat. Il était d'accord et a indiqué avoir posté la moitié de la somme en remboursement.

puis, sans meme attendre notre retour par rapport aux assurances ou la suite que l'on souhaite donner, il a décidé de garder la totalité de la garantie, sans plus d'échanges pour s'entendre.

au final:
- il a encaissé la garantie (600€) en entier se basant sur la facture de travaux réalisés avant la location pour la totalité de la pièce (env 900€) et non pas sur devis/facture de réparation de dommage
- il nous a fait part de ce problème le 15/06 alors que nous avons rendu les lieux le 19/05
- nous n'avons toujours pas reçu la photo datée en question

Etant donné que nous n'admettons pas avoir causé ce dégat, qu'il ne souhaite pas de conciliation amiable, qu'il n'a pas respecté ce qui est indiqué dans le contrat,
suis-je bien en droit de demander la restitution totale de la garantie ? et dans quel ordre dois-je faire les choses?

je vous remercie d'avance pour les informations que vous pourrez me donner