Vice caché ou non?

Bonjour,
Je me présente rapidement: je m'appelle Franck, j'ai 27 an, marié à une femme enceinte de notre 3ème enfant. Nous avons fait l'acquisition d'une maison il y a 2 mois en passant par une agence. C'est nous qui avons trouvé le vendeur et c'est donc lui qui a réglé les frais d'agence. Lors de la visite, le propriétaire nous a expliqué qu'il avait refait la salle de bain car il y avait une baignoire d'origine (30 ans) et qu'il voulait la remplacer par une douche à l'italienne. Il faut préciser qu'il n'est resté que 2 ans dans cette maison.
Quelques jours après notre emménagement, je me suis aperçu que le mur situé entre la cuisine et la salle de bain était humide. J'ai cherché d'où pouvait venir le problème et c'est un ami maçon, carreleur,... qui m'a dit que la douche n'avait pas été faite correctement et que l'eau coule de partout. Manque de bol, notre bloc sanitaire (WC, salle de bain et 1m de la cuisine où repose les éléments) est entièrement en bois. J'ai donc contacter l'ancien propriétaire pour lui demandé s'il avait fait faire la douche par un artisan et il m'a répondu que c'était lui qui avait fait les travaux. Je lui ai expliqué que nous avons des problème d'humidité et il m'a tout de suite dit: "oh, mais ça a toujours existé!". J'ai pu aller dans le vide sanitaire en cassant un élément de cuisine et j'y ai trouvé le vieux plancher qui était lui même pourri par l'humidité. J'ai pris des photos et j'ai aussi constaté que le propriétaire a remplacé le vieux plancher par une planche non hydrofugée (juste sous la douche).
Là dessus, un voisin expert en assurance, est venu à la maison pour constater les dégâts et me conseiller. Il m'a dit que ce gros problème doit passer en vice caché voir en dol. Il m'a donné les adresses d'entreprises agréées par mon assurance et m'a dit de faire faire des devis afin de chiffrer le montant des dommages. Avec cela, je devrait aller voir un avocat qui me dira si nous devons porter l'affaire en justice ou non.
Après le passage de tous le corps de métier, il s'avère que nous en aurons, au bas mot, pour 15 à 20 000€ de travaux et 1 mois où nous ne pourrons pas habiter dans notre maison.
Certaines personnes me disent que cette action est possible et d'autre me le déconseilles du fait que nous avons acheté la maison à un particulier. Je ne comprends pas car il y a quand même l'agence immobilière qui est un professionnel. D'autre par, il était noté dans le compromis de vente que le vendeur se dégage de tous vices cachés. D'après l'expert, c'est une clause abusive et un bonne avocat la fait sauter assez facilement.
Je souhaiterais avoir votre avis et vos conseils. Au risque de paraitre désagréable, je m'adresse uniquement aux personnes dont c'est le métier ou qui s'y connaissent réellement car je ne voudrait pas de conseils approximatif ou des "on m'a dit que..." Je pense que vous me comprendrait.
Merci beaucoup.