Rupture d'un contrat par le client

Bonjour,
j'ai un client avec qui je travaille depuis plusieurs années et pour qui je fais des réalisations graphiques.
Ce client veut rompre un contrat (devis signé) m'accusant de ne pas être assez réactif dans nos échanges, et que cela lui est préjudiciable. Cela est faux, et je peux le prouver par nos échanges de mails. Je pense surtout que ce client souhaite se désengager car il a trouvé un autre prestataire moins cher.
Le souci, c'est que ce client a déjà payé d'avance une partie des travaux à venir, et demande le remboursement de ce qu'il a payé. J'ai déjà entamé du travail sur ces projets, et s'ils ne peuvent aboutir, c'est que je n'ai pas eu toutes les informations nécessaires pour mener le travail à son terme.
Suis-je obligé de rembourser le client alors que c'est son comportement (absence de réponses à mes sollicitations) qui m'a empêché de terminer le travail ? Si je suis obligé de le rembourser, puis-je déduire un pourcentage correspondant au travail déjà effectué ?
Merci de votre réponse.