Usage et destination erroné d'un bien vendu

Bonjour,

J'ai à faire à un vrai casse tête, c'est pourquoi j'ai besoin de votre aide.
Je vous expose les faits:
Un vendeur propriétaire d'une grande parcelle que l'on va appelé Y à destination industrielle et artisanale dont se situe deux batiments, un hangar et un terrain vague, souhaite vendre l'un des deux batiments dans lequel il avait vécu, donc à usage d'habitation. Cette parcelle se situe dans une zone pavillonnaire. L'activité industrielle à cessé il y a environ 20 ans, et les locaux ont été abandonné par la société.

Il avait auparavant acheté cette parcelle à deux personnes, qui l'avait acquise à usage industriel. Elles avaient décidé un jour d'en transformer une partie en habitation (le batiment qui souhaite être vendu), et ont fait venir un huissier pour faire venir constater que c'était une habitation. Sur les plans de la société qui occupait les lieux, le batiment qui souhaite être vendu était en partie des bureaux, et en partie une zone de travail.

Le vendeur donc, pour vendre ce batiment que l'on va appelé Z, l'a transformé en plateau pour que les acquereurs puissent le transformer en loft, en cassant tout à l'intérieur. Il manque d'ailleurs un mur pour fermer le batiment.
Le vendeur signe un compromis de vente à des acquereurs, qui pensent donc de bonne foi qu'il s'agit d'une habitation, puisqu'il leur a dit qu'il y avait habité et qu'il avait payé des taxes d'habitation pour ce batiment. Il est d'ailleurs indiqué sur le compromis que la destination du bien pour les acquereurs est à usage d'habitation.

Entre le compromis et l'acte définitif, le vendeur effectue une division parcellaire pour ne vendre que ce batiment Z, et obtient l'autorisation pour sa DP pour effectuer une ouverture de fenêtre sur la facade et la création du mur manquant.

L'acte définitif qui a été signé ne mentionne nul part la destination ou l'usage du bien.
Après la signature de l'acte definitif, les acquereurs décident de faire de plus ample travaux de modifications et dépose une déclaration préalable.

La mairie les appellent alors pour leur dire que leur DP est sur le fond accepté, mais qu'ils viennent en fait de découvrir que le batiment est à usage industriel, se basant sur la matrice cadastrale qui sert aux impots fonciers, sur la base de la parcelle intégrale Y, et non de celle qui résulte de la division, la parcelle Z.
Il leur ai demandé de déposé un PC pour changement de destination. Le PC a été refusé tacitement, du fait de la non possibilité par les acquereurs de fournir un document, mais là c'est un autre problème, qui incombe également le vendeur et dont il n'est pas question dans mon casse tête.

Entre le compromis et la signature définitive, après la division parcellaire, le vendeur à envoyé aux impots fonciers le formulaire H1, définissant le batiment Z en habitation, qui plus est habitable en l'état (ce qui n'est pas le cas).

Lorsqu'ils appellent les impots aujourd'hui, et qu'ils donnent le numéro de la parcelle Z, les impots leurs disent que c'est à usage d'habitation.
Les acquereurs rappellent donc le service d'urbanisme de la mairie, pour leur dire qu'en fait c'est bon c'est une habitation, puisque la matrice cadastrale l'indique.
Cependant, la mairie les informe qu'il n'y a jamais eu de changement de destination effectué auparavant, ni par le vendeur, ni par les deux personnes qui ont changé d'elle même le batiment Z en habitation, et qu'ils doivent donc effectuer cette démarche administrative.

Les acquereurs souhaitent se retourner contre le vendeur et le notaire.
En effet, il leur a été vendu un batiment comme étant une habitation, dont des travaux doivent être effectués.
Ils ont de plus payé le prix d'une habitation et non d'un local.
Ils se sentent trompé par le vendeur et le notaire (qui est d'ailleurs celui du vendeur).
Le vendeur lui, dit qu'on lui a vendu en tant qu'habitation, et que de plus il y a habité donc il voit pas où est le problème (sauf que lors de l'achat, le bien étant vendu en plateau + mur exterieur manquant, rien ne montrait que cela avait pu être habité auparavant).
Le notaire, lui s'appuie également sur les mêmes arguments, et affirme de plus ne pas pouvoir obtenir l'information de l'affectation initial du bien.

Dans cette histoire, ont comprend bien que le vendeur s'est fait arnaqué lors de son achat, mais qu'il a souhaité refiler la patate chaude.

Mes questions donc:
Du fait du changement d'usage antérieur, sans DP ou PC il y a-t-il prescription?
le notaire ou le vendeur devait-t-il s'assurer de l'usage ou de la destination du bien?
Les acquereurs peuvent-ils se retourner contre eux?

Je vous remercie infiniment de m'éclairer là dessus.