Vice caché - capicornes dans charpente

Bonjour,
Je vous expose mon problème:
Nous avons acheté une maison en Juillet 2009, et avons emménagé en Octobre de la même année. Cette année, en Août 2011, nous avons entendu un bruit de grattage derrière le lambri. J'enlève 2 lattes et découvre des galeries, et 3 larves de capricornes. Je me dit dans un premier temps avec l'avis de mon père, d'enlever le lambris, de traiter la charpente et de remettre du placo à la place du lambri. Le chantier est prévu pour début Octobre. je commence alors à enlever le lambris, chaque latte enlevée laisse apparaitre des poutres infestées, pourries sur 1,5 cm. J'arrête alors de démonté, en me disant que si je doit faire venir un expert il pourra alors se rendre compte des dégâts comme je m'en suis rendu compte.
Il s'avère que l'ancien propriétaire avait lui même refait toute la maison ( poutres + parquet au RdC, plomberie, électricité, dalle au sous-sol, ouvertures... ) et possédait donc des connaissances presque professionnelles en ce qui concerne l'habitation. Il a lui même posé le lambris directement sur la charpente infestée, recouvrant la totalité de l'étage dans lequel il a fait des chambres. Le diagnostic ne mentionne pas d'attaque de termites, mais il me semble que les diagnostiqueurs n'ont pas a sondé obligatoirement, ils auraient alors été obligé de défaire le lambris.
Lors des visites nous n'avons pu nous rendre compte de rien, tout était recouvert, il me semble évident d'avoir été victime d'un "salopard" qui a doublé son investissement en profitant de la crédulité de jeunes acheteurs, il me semble que nous pouvons faire valoir le vice-caché, une attaque de ce genre ne doit pas se faire en 2 années mais en au moins 10 ans...
Bref, nous pensions investir dans une première maison en espérant faire une affaire ( il nous l'a vendue 100 000€, alors que l'agence l'estimait 125000...), je m'en veux d'avoir été aussi naif, me reposant à l'époque sur la sympathie du vendeur, et le côté neuf de l'habitat...
Merci de me donner votre avis; y a t'il selon vous, comme je le pense vice caché ? Je pense ne pas avoir de mal à le démontrer devant un tribunal, mauvaise foi évidente, il a bien caché l'invasion, clairement.
Je ne veut pas laisser des personnes aussi malhonnêtes s'en sortir, je trouve cela profondément dégueulasse, j'espère que vous pourrez m'envoyer des conseils, nous ne savons par quoi commencer.
Vous remerciant sincèrement.