Sos probleme avec achat maison

Bonjour, nous avons un gros souci et je ne sais pas quoi faire.
Nous avons acheté une maison vielle maison à rénové le 1 er Janvier 2006.
Nous avons fais les travaux necéssaire à l'interieur pour pouvoir y vivre.
Dernièrement mon mari a recu une maison en héritage et nous voulons alleé vivre dedans. Nous avons donc mis notre maison en vente et nous avons trouvé des acheteurs. Pour nous ce n'était que du bonheur. Le sous-sing a été signié il y a deux semaines, et le lendemain des 7 jours pour ce rétracter nous avons appris une très mauvaise nouvelle.
Pour pouvoir avoir une salle de bain nous avons fais une demande de permis travaux, qui nous avais été refusé une première fois sans explications. Nous avons donc refais une demande et la réponse nous a fais tombé de haut.
La DDE nous a répondu que notre maison n'était pas valable, que nous avions acheté une grange et que nous avons donc fais les travaux illégalement dans la maison. Je lui ai amené l'acte notarié ou il ai écrit MAISON EN PIERRE A RENOVER, depuis 2007 nous payons les taxes foncières et d'habitations ( la DDE m'a traité de menteuse jusqu'à ce que je lui ammene les papiers)mais ils ne veulent rien savoir .
Mes questions sont les suivantes:
- comment peut-on faire pour refaire passer la maison en maison sans perdre de temps car elle est logiquement vendu?
- Peut-on ce retourné contre la personne qui nous la vendu ? ( car elle savait qu'elle était classé comme batiment agricole et non comme maison)

Merci d'avance pour vos réponses