Erreur sur compromis

Bonjour,
Nous avons signé il y a quelques mois un compromis de vente sur une longere en état d’abandon. L’agence a communiqué sur la vente d’une maison d’habitation avec dépendance. Le compromis de vente fait état d’une maison d’habitation avec dépendance. Après signature du compromis, nous nous sommes rendu compte que le PLU de la commune faisait mention d’un bâtiment agricole avec changement possible de destination sous conditions de passer devant la CDNPS ( commission des sites) de ce fait la procédure a été rallongée de 3 mois et cette dite commission nous a imposé divers obligation notamment un inventaire Faune et Flore a 2500€ … conquis par cette bâtisse, nous avons fait toutes les démarche et devons signer dans les jours à venir la vente devant notaire. Au moment de l’établissement du contrat de vente définitif, la qualification du bien a changé et est bien désigner comme bâtiment inhabitable et que le bien vendu n’est pas considéré comme maison d’habitation. Nous étions tout à fait au courant de l’état du bien et il n’y a pas de surprise la dessus mais considérons qu’il y a un manquement évident sur le devoir de conseil de l’agence immobilière, que celle ci a établi un faux en réalisant le compromis de vente sur une maison d’habitation et donc demandons dédommagement sur les frais d’agence. Quels recours avons nous? Pouvons nous faire bloquer chez le notaire le montant des frais d’agence ? Merci par avance pour vos réponses