Devis signé, travaux non conformes, acompte non versé

Bonjour,

En février 2019, nous avons signé trois devis avec un artisan menuisier pour la réalisation de :
- un placard sous mansarde;
- deux volets roulants;
- trois portes coulissantes;

La placard et les volets roulants étaient très bien, mais pour les portes, ce n'était pas du tout conforme à ce qui a été décidé sur le devis.
En septembre 2019, l'artisan est venu à la maison à ma demande pour qu'il constate lui-même les problèmes. Les portes étant "sabotées", pour que la réalisation finale soit conforme au devis, il n'y a pas d'autre solution que de refaire les portes. L'artisan, d'abord de mauvaise foi et affirmant que les travaux étaient "propres", m'a proposé quelques jours plus tard une remise de 15%. La facture étant de 2000€ environ, j'ai refusé, indiquant que je ne voulais pas économiser d'argent, mais avoir des portes conformes au devis.

En janvier 2020, le père de l'artisan, ayant récemment pris sa retraite et ayant légué la boîte à son fils, est passé à la maison pour constater les divers problèmes. Il a pris des photos et a dit qu'il reprendrait contact avec moi.

C'est seulement aujourd'hui, 17 novembre 2020, que l'artisan m'a recontacté pour me dire que je n'avais pas payé la facture. Je lui ai ré-expliqué quels étaient les soucis et qu'il était censé revenir vers moi. Il a proposé de démonter les portes et que je me débrouille avec un autre menuisier pour refaire des portes, ce que j'ai refusé, invoquant le fait que nous avons un devis signé qui l'oblige à réaliser les travaux.
Là, il a invoqué le fait que je n'ai pas payé d'acompte. J'avais payé un acompte de 2000€ pour l'ensemble des 3 devis. J'ai réglé en totalité le placard et les volets roulants, mais pour les portes, je n'ai effectivement encore rien payé.

Que puis-je faire?
L'artisan est-il en droit de me réclamer l'acompte un an et demi après la signature du devis, sachant que je suis persuadé qu'il ne finira pas les travaux?
Ai-je le droit de refuser qu'il démonte les portes avant d'avoir la confirmation qu'il en ait commandé d'autres?

L'erreur que j'ai faite est que, sur le devis, aucune date de réalisation des travaux n'est mentionnée.

Merci d'avance,
Bonne journée.