Mérule découverte après achat malgré expertise

Bonjour,
Nous avons acheté une vieille maison comme investissement immobilier dans le but de la retaper puis de la louer. Avant l'achat, 2 expertises ont été faites: 1 par l'agence immobilière et une par nous même. Des fuites d'eaux ont été détectées, mais rien de plus.
Sauf que voila: en commencant les travaux, nous avons trouvé de la mérule. Des experts sont venus et nous l'ont confirmé. Ces mérules proviennent très certainement des dégâts des eaux qui ont été longtemps présents en raison d'un manque d'entretien de la maison.
Conséquences: nous avont déjà dû payer l'expert en mérule et les analyses. Nous allons devoir changer une partie de la charpente et payer une traitement (coûteux) contre les mérule. De plus celà prolonge considérablement la durée des travaux et nous devrons rembourser le crédit avant de pouvoir toucher un loyer.
Dans l'acte de vente, nous avons signé que nous achetons la maison dans l'état et que nous avont été informés des dégâts pouvant être occasionnés par la présence de mérule. Il est également écrit que le vendeur déclare ne pas avoir constaté l'existence de condensation interne [alors que l'expertise a mis des fuites d'eaux en avant].
Notre question est la suivante: contre qui pouvons-nous nous retourner? Contre le vendeur? Contre l'expert qui n'a pas détecté la mérule? (seulement des infiltrations et zones d'humidité)
Merci d'avance.