Abandon / retard de chantier sans délai inscrit au devis

Bonjour,
j'ai un souci avec un artisan chargé de réaliser des travaux de maçonnerie dans une maison dédiée à la location, que j'habite le temps des travaux. Le 3 octobre 2014 je lui retourne un devis signé pour le travail de mise en place de dalle béton et de ravalement de façade. Le 4 novembre, je signe celui de la commande et de la pose du portail. Pour les deux, je lui verse des acomptes (30% pour le premier, 40% pour le second) encaissés peu après.
Au début, il réalisait les travaux. La commande du portail prenant du temps, il me dit verbalement qu'il terminera les travaux au pire fin janvier 2015 (délai maximum initialement prévu verbalement aussi). Le souci aujourd'hui est que ce délai ne figure nulle part sur ses devis.
Or, début janvier, il m'adresse une facture demandant règlement 80% d'achèvement des travaux. On en est bien loin, mais pour le motiver, je lui verse la somme.
Depuis, il passe sur le chantier quand il veut. Je l'ai relancé plusieurs fois. Il m'affirme passer la semaine suivante, ne passe pas et repousse le délai "tacite" d'achèvement des travaux. Un prétexte qu'il me sert depuis février est qu'il attend encore livraison du portail qui prend du retard.
Or j'avais pris soin d'appeler le fournisseur du portail. Alors qu'il m'avait assuré avoir passé commande, le fournisseur n'avait aucune trace de celle-ci. Bizarrement, la commande n'a été passée que le 24 avril, après un énième coup de fil agacé de ma part le menaçant de procédure d'abandon de chantier (ce qui étais le cas manifestement à ce moment : absence de 3 mois).
Par la suite, il ne vient encore que quand il le souhaite et mon chantier n'avance pas. Je lui ai donc adressé il y a quelques jours une mise en demeure avec A/R de terminer les travaux. Depuis, il se présente sur le chantier régulièrement même si j'ai peur que l'achèvement prendra encore quelques semaines.
J'aimerai autant que possible régler ce souci à l'amiable. Mon souci aujourd'hui est le suivant : malgré l'absence de délai figurant sur le devis, m'est il légitime, voire légal, de lui demander un dédommagement pour la durée anormalement longue de ce chantier?
D'après mes renseignements, son devis est "hors loi" à cause de ces manques et pénalisante d'amende, mais rien n'indique dans mes recherches la possibilité d'appliquer des pénalités de retard pour ce chantier. J'aimerai rassembler des arguments légaux à lui opposer quand il aura fini, j'espère sans avoir recours à la voie judiciaire.
Merci d'avance pour les réponses.