Commande annulée par le vendeur

Bonjour,
En mars, j'ai passé commande par internet d'un portail + une clôture pour l'entrée de ma maison, je précise que j'ai signé un devis qui m'avait été adressé.
En avril nous j'ai fait le paiement de 30% de la commande (arrhes) afin qu'il débute la production.
Samedi 24 juin, un livreur de cette même entreprise est venu me livrer.
Après le déballage du portail, nous constatons des différences de couleurs entre les profilés normalement blanc qui vire au jaunâtre, des rayes sont visibles...
Suite à ceci, je décide de refuser l'intégralité de la commande.
Je leur écrit un message avec photos à l'appuis de problème et leur demande de faire un contrôle qualité complet et de changer les profilés.
2 jours plus tard (26.06), je reçois en message en réponse m'indiquant que le SAV va s'occuper de ce problème.
Le mercredi 5 juillet, le responsable de production m'appel me disant qu'il veut effectuer l'annulation la commande car selon lui nous sommes trop pointilleux et il pense que la 2eme livraison sera également refusée.
Il me demande mon RIB pour procéder au remboursement.
Je lui demande de m'envoyer une courriel me confirmant son intention.
Finalement le lendemain (06.07) je leur écris pour qu'il me confirme leur intention.
Celui-ci me répond par un simple "Oui".
Face à cela, je demande par courriel le remboursement du double de l'arrhes conformément à L. 214-1 du code de la consommation est du l'art. 1590 du code civile.
Celui-ci à bien entendu refusé invoquant qu'il doit absorber la fabrication et le transport. Suite de quoi plusieurs courriel me sont envoyé m'informant (me menaçant) que le portail est conforme est qu'il faudra faire appel à un expert qui pourra me contraindre de l’accepter et de le payer.
Quels sont les actions possible sachant que je ne veux pas non plus partir dans une guerre juridique ? Malgré tout je trouve trop facile qu'il puisse s'en sortir si simplement en annulant la commande car les trous des fondations sont déjà été creusé pour ce portail ainsi que j'ai déjà acheté du matériel électronique prévu en conséquence également.
D'avance merci