Annulation d'un devis signé pour un ravalement

Bonjour,
Nous avons signé fin septembre 2013 un devis pour refaire le ravalement de notre maison. Les travaux étaient prévus pour fin Juin 2014. Mais en Janvier 2014 nous avons appris que notre maison était dans une zone "protégée" et que le devis devait être soumis à la validation des Bâtiments de France-
Ces derniers ont émis des préconisations "contraires" au type de ravalement prévu par le devis signé-
Je vous passe les détails des démarches effectuées auprès des BDF, de la Mairie ...En vain.
L'artisan, que nous avions dès janvier informé du problème, nous a gentiment laissé nous débrouiller...Nous avons fini par lui adresser une lettre recommandée pour lui signifier que compte tenu de son défaut de conseil, nous nous estimions désengagés du devis...Là il nous a rappelé pour nier le défaut de conseil et nous a indiquer transmettre notre RAR à son service juridique...Depuis 3 semaines, aucune nouvelle...
Quelqu'un pourrait il nous donner des pistes pour nous extirper de cette situation ?
Le fait de nous faire signer un devis sans évoquer l'aval à demander aux Bâtiments de France est il réellement un défaut de conseil ?
Merci par avance,