Travaux finalement pas réalisable

Bonjour a tous,
J'espère que vous pourrez nous aider
Voilà nous avons signé un devis pour la surélévation de notre maison. En mars 18
Donc devis accepté ok . L artisan fait venir un architecte ok les travaux sont réalisables etc. Donc permis de construire déposé après divers problème, nous arrivons enfin a l'obtenir ! En août 18
Le chantier ne peut pas démarrer de suite ok (recours des tiers) donc nous commencerons au beau jour .
Le 19 février début des travaux et là il se rends compte que nos murs sont fait en briques rouges et que les travaux ne sont plus réalisable !
Donc qu'il ne peut que changer la toiture
Qu'il a déjà commandée , nous disons ok
Nous devions changer la toiture (mais nous serons forcé de déménager du coup ) maintenant il veut que nous payons aussi pour les fenêtres qu'il ne va pas posé !
Comment dois je faire ?
A la base le problème vient bien de lui non ?
Merci de votre aide