Reconnaisance de dette

Bonjour,
Je viens vers vous si quelqu'un aurais une solition a mon probleme je suis actuellement en construction de ma maison et j'ai un problème avec l'ancien propriétaire du terrain.
Au tous départ de notre projet nous avons signée une reconnaissance de dete avec l'ancien propriétaire comme quoi nous lui payons la viabilisation a lui sans passer chez le notaire .
Après avoir signee cette reconnaissance de dette nous avons apris que fiscalement le propriétaire n'avais pas le droit de faire cela du coup de peur que nous nous faision taper sur les doits nous avons décidé de lui payer par lacte de vente ce qui a étais fais. Le problème c'est que nous n'avons pas annuler le reconnaissance de dette du coup viabilisation fini le propriétaire nous reclame l'argent alors que dans l'acte de vente il est clairement marquer que le propriétaire doit amener tous reso en limite de notre propriété que doit on faire pour ce defendre ?
Merci par avance