Paiement solde bien immobilier

Bonjour,
J'ai acheté avec mon mari un appartement en 2001 qui appartenait à ses parents et qui valait 200000f francs. D'un commun accord, et pour éviter les tracas d'une donation, ses parents nous l'ont vendu 100000f et nous étions "censés" payer les 100000 autres francs sur les 5 ans suivant-ce qui est précisé sur l'acte notarié.
Toutefois, il était convenu qu'on ne leur verse rien, et que l'on garde cette somme pour réaliser les travaux de réhabilitation (appartement très très délabré...). Même le notaire était au courant de cette entente-c'est lui qui nous avait conseillé cette solution. Cependant, le seul écrit est l'acte où il est précisé que nous devions payer les 100000francs restant dans les 5ans...

Or, nous sommes actuellement en instance de divorce et la nouvelle trouvaille de monsieur (divorce très difficle...) est que nous devons les 100000f à ses parents... sachant que cette somme va certainement lui revenir par la suite...

Ses parents ne nous ont, jusqu'à présent, jamais rien réclamer. Le délai des 5 ans est terminé depuis 2006 et il n'a jamais été convenu qu'on leur rembourse cette somme.

Qu'ai-je comme possibilité pour éviter ce paiement? Est-ce qu'il y a prescription du fait qu'ils n'aient jamais réclamer cette somme? Ou existe-t-il une autre solution???