Rétractation compromis de vente et recours contre agence immobil

Bonjour,

Nous avons signé un compromis de vente pour une maison à colombages en juillet dernier.
Le lendemain nous allons à la mairie pour nous renseigner sur une autorisation de travaux pour l'ajout d'un garage : on apprend que le quartier est classé Bâtiments de France, ce que l'agence ne nous avait pas dit. On apprend aussi que les proprio actuels ont réalisé leurs travaux (façade et toiture) sans l'accord des Bâtiments de France !
Nous voulons donc consulter les factures mais l'agence n'arrive pas à joindre les proprio, partis en vacances.
Plus tard, nous faisons venir un maçon qui nous dit que la façade subit des infiltrations d'eau par capillarité et que de la mousse expansive cache des poutres sans doute pourries.
Devant tant de défauts, nous faisons jouer notre droit de rétractation.
L'agence nie avoir été au courant de tout ça...
Notre problème : nous avons donné notre préavis de départ à notre proprio et nous n'avons toujours pas trouver de logement.
Notre question : existe-t-il un moyen de retourner contre l'agence immo qui a mal fait son boulot ?