Achat réglé commande non livrée

Bonjour,
J'ai acheté à une entreprise pour plus de 5000 euros de baies vitrées.
Ils nous avaient assuré que tout serait livré en novembre (nous avions insisté sur ce fait) car les travaux dans notre maison seraient finis et nous ne voulions pas être soumis davantage au froid.
Non seulement, il y a eu beaucoup de retard mais ils ne nous ont fourni qu'une partie de la commande (il manque une porte vitrée, tous les accessoires dont poignées etc). De plus une baie de 3m comporte des ventaux qui ne sont pas aux bonnes dimensions !!! Nous avons contacté des dizaines de fois l'entreprise, jamais personne ne s'est présenté, nous ne savions donc jamais à qui nous avions à faire. Impossible de savoir quoi que ce soit sur notre commande. Nous avons reçu des sms anonymes incompréhensibles… Finalement, le dirigeant de l'entreprise HM RENOV 26 nous a téléphoné en nous assurant qu'il allait faire quelque chose et nous a proposé une remise de 500euros compte tenu du fait que la partie manquante de la commande avait été livrée à un autre client (nous devrions en théorie la recevoir fin janvier 2020 !!! au lieu d'octobre 2019! puisqu'ils doivent la refaire fabriquer) et pour tous les désagréments.
J'avais demandé à ce que mon chèque de solde ne soit du coup encaissé qu'après la livraison complète de ma commande. Ils se sont empressés de l'encaisser dès début novembre ! Normalement et comme stipulé sur le devis, le chèque de solde doit être encaissé à livraison… Ce qui est loin d'être le cas puisque nous ne pouvons pas nous servir des fenêtres et qu'une partie manque.
Quand nous avons relancé ce monsieur à propos de cette remise, il a nié l'avoir proposée et nous propose, le comble, un avoir !
Que puis-je faire pour faire valoir mes droits contre cette société crapuleuse ?
Merci.