Achat Maison à un couple divorcée

Bonjour,
Je vous explique la situation: nous avons enfin trouvé la maison de nos rêves mais le problème c'est qu'elle appartient à un couple divorcé, elle est actuellement habitée par le mari qui fait les visites.
Nous avons fait une proposition oralement mais ce dernier réserve sa réponse et nous a demandé si on pouvait faire une proposition en dessous du prix et de lui verser le reste en dehors de la vente : avantage pour nous : des frais de notaires réduits et pour lui: il récupère de l'argent sans que son ex soit au courrant.

Je me doute que ce n'est pas très légal mais la question est : qu'est ce que je risque à faire comme ça ?

Merci pour vos réponses