Annuler devis et récupérer son acompte

Bonjour, et merci d'avance pour l'aide :)
Je vous explique mon souci.

Nous faisons construite une maison individuelle avec contrat d'architecte et maître d'oeuvre.
Notre maître d'oeuvre nous a fait signer un devis de plaquiste. Suite à ce devis, nous avons payé une 1ere facture (considéré comme des arrhes je pense car pas de mention "acompte" sur la facture).
Suite à de nombreux reports de démarrage de chantier (faute au plaquiste, pas toujours honnête sur les motifs ...), celui ci nous propose finalement (par mail):
Soit de débuter les travaux dans 1 mois.
Soit de nous rembourser "l'acompte"

Nous choisissons la seconde option. Or depuis 6 semaines, il nous dit qu'il va nous rembourser mais ne le fait pas. (On envoie plusieurs courriers en AR pour demander le remboursement ...)

Aujourd'hui, le plaquiste nous envoie un courrier disant refuser la résiliation du devis, nous proposant de commencer les travaux "à la date qui nous convient".

N'ayant pas confiance en ce "voyou", nous refusons de le faire travailler chez nous (on a peur qu'il nous plante ou autre problème...). Nous souhaitons récupérer l'argent engagé (10 000€) et résilier le devis signé (ou aucune date de début de travaux n'était inscrite).

Pensez vous que nous puissions annuler le devis et récupérer notre acompte ?
Nous voudrions vite attaquer avec un nouveau plaquiste mais on nous l'a déconseillé tant que le litige n'était pas résolu ...

Merci d'avance pour votre aide !!
Bonne soirée
Maud