Construction sur terrain appartenant à autrui

En 1936, mes grands parents, autorisent un couple exploitant agricole , partant à la retraite, à construire une maison sur un terrain leur appartenant, pour y passer leur retraite; il est entendu qu'à leur deces, mes grands parents pourront racheter la maison à dire d'expert. L'accord a donné lieu à un papier qui a été enregistré. La propriété de la maison est inscrite, au cadastre, au nom des héritiers du couple; le terrain est inscrit à mon nom. Or rien n'a été fait lors du decès du couple exploitant agricole en 1968 et la maison a été laissée quasiment à l'abandon par les héritiers du couple. Ceux ci me demandent aujourd'hui de leur vendre le terrain pour qu'ils puissent vendre la maison (à vrai dire c'est d'avantage le permis de construire qu'ils vendent et qui a effectivement une valeur); mais cette maison jouxte d'autres batiments dans lesquels je souhaite établir deux de mes enfants et je ne souhaite pas prendre le risque de creer des problemes de voisinage dans le futur; donc ma position est de ne pas bouger; quel est en fait la situation de droit et quelles sont mes obligations ou celles des héritiers du couple? est-il envisageable que cet accord entre mes grands parents et ce couple relève d'un bail emphyteothique bien que ce ne soit pas spécifié dans l'autorisation de construire. Merci pour vos avis.