Rétrocession d'une parcelle

Bonjour,
Nous avons acheté un terrain où nous avons construit notre habitation.
Pour accéder au permis de construire sur cette parcelle, une modification a été nécessaire parce que la DDE refusait le permis ( besoin d'une fosse septique ) .Il fallait 501 m2 pour construire et la parcelle ne les possédait pas .Donc le propriétaire a modifié dès lors la parcelle en ajoutant environ163 m2 pour que la parcelle devienne constructible.
Aujourd'hui , l'ancien propriétaire se tourne vers nous pour que nous lui rétrocédions cette parcelle .Quelles sont nos droits car nous ne sommes pas d'avis de rétrocéder cette parcelle?
Devenons nous hors la loi concernant la parcelle de 501m2 qui perdrait quelques m2 qui à l'époque était nécessaire pour obtention du permis ?2 ans en arrière
Quels arguments à mettre en avant lors de notre prochaine conversation avec ce monsieur car nous ne voulons pas lui rétrocéder .Cdt LM.