Remboursement d'acompte a un client

Bonjour,
après avoir signé un devis en octobre 2010, et versée un acompte de 4700 euros pour l'habillage complait de sa maison en bardage bois, mon client refuser que j'exécute les travaux car j'ai un mois de retard sur le chantier(retard du aux intempéries de décembre que j'ai du mal a résorber).Il me demande le remboursement de l'acompte versé alors qu'il me dit m'avoir envoyer recommande AR pour annuler le devis.
Après plusieurs tentatives de conciliation téléphonique mon client reste sourd et me dit que si je ne lui rend pas sont acompte cette histoire se règleras devant les tribunaux...
Si je lui rend sont acompte je met la clef sous la porte.
Est il dans son droit alors que le devis signé ne stipule aucune date ni de début de travaux ni de fin ???
Je suis prêt a exécuter les travaux dans les plus brefs délais mais il me refuse l'accès au chantier...
quel sont mes droits???
merci d'avance