Achat d'une maison avec des liens familiaux

Bonjour,
Nous étions avec mon conjoint (non marié ni pacsé) sur le point de racheter une maison qui appartient au grand père de mon conjoint (usufruitier) et à la mère de mon conjoint (nue-propriétaire).
Cette maison a été sur évaluée il y a 6 ans par le notaire au moment du partage du coup nous avons payé une ré évaluation ce qui a fait redescendre le bien immobilier de 40 000€.
Aujourd'hui avant de lancer tout achat nous en sommes à la fin des devis pour les divers travaux de mise en conformité (isolation, électricité, réfection de la toiture, ...).
A la vue de l'importance des travaux à effectuer, même si la maison est située dans un coin assez recherché, pour nous elle perd de sa valeur!!!!
Pourrions nous baisser encore le prix de la maison sans que cela inquiète le fisc qui pourrait prendre cet achat pour une donation cachée (ce qui n'est pas le cas puisque le but est de payer la maison de retraite du grand père et de fournir une belle somme à la nue propriétaire et nous de ne pas non plus payer une maison plus que nous ne l'aurions payé entre particulier sans lien familiaux).
Si nous pouvons baisser ce prix, comment prouver si un jour nous somme inquiété, que la maison nécessitait beaucoup de travaux? des photos suffiraient elles? une évaluation d'une agence immobilière? une nouvelle évaluation de notaire? (la première nous a coûté déjà presque 400€)

Je vous remercie par avance des quelques conseils que vous pourriez nous apporter.