Achat maison sur terrain vendu pour jardin

Bonjour,

Nous étions sur le point de signer la promesse de vente d'une maison quand le notaire s'est rendu compte d'un problème.
Il y a plus de quatre-vingts ans, la maison voisine a revendu le terrain que nous voulons acheter mais ce terrain devait rester des jardins.
Au fil des années, des constructions se sont faites. À la première transaction, l'information a été transmise que le terrain avait été vendu pour usage de jardin, donc qu'ils acceptaient en connaissance de cause. Puis au fil des transactions, l'information s'est perdue (a été cachée). Et aujourd'hui vendeurs comme acheteurs nous découvrons cette histoire grâce au travail de notre notaire.
La maison actuelle date d'environ 1990. D'après le notaire, le terrain est constructible d'un point de vue urbanisme (il y a le tampon de la mairie sur les plans de l'époque).
Mais pour lui c'est une question de droit privé qui date de la première vente du terrain qui dit que les vendeurs de l'époque interdisaient de construire.
Pour lui il n'y a pas de prescription possible avec le temps et il n'y a pas de rectification possible aujourd'hui pour nous protéger des problèmes.
Mais également qu'il n'est pas avocat...
La question c'est quels sont les risques ? Qui peut nous poser problème ? Et comment résoudre cette histoire ?
Je précise que ce n'est pas la seule maison concernée car à l'époque où il n'y avait rien c'était des zones agricoles, aujourd'hui tout est construit partout...
Merci beaucoup