Achat d'un terrain avec une servitude au gaz

Bonjour,

Nous avons signé un sous seing privé pour l'achat d'un terrain avec une servitude sur une conduite de gaz.
Cette servitude demande par écrit d'implanter la maison sur 4 m de la conduite, de ne pas planter d'arbre dessus et de ne pas faire de fondation à plus de 50 cm pour le mur de clôture.

Quand nous avons implanter la maison, un agent du gaz est venu et nous a appris que désormais nous ne pourrions rien faire sur ce terrain sans leur accord.
Par exemple si on veut mettre un arbre, faire un jardin, mettre un cabanon, une clôture, une piscine hors sol, un puits etc...il faudra passer par eux et si c'est non, ce sera un non définitif.

Tout cela n'est pas spécifié sur la convention de servitude qui date du 24 juin 1983 et que l'on a signé avec le sous seing privé.
N'étant plus libre d'aménager le terrain à notre convenance, et surtout n'étant pas averti de cette servitude supplémentaire, car rien n'est écrit noir sur blanc à ce sujet, nous ne voulons plus de ce terrain et faire valoir la condition suspensive pour ne pas être pénaliser de 10% sur ce retrait d'achat.

Pourriez-vous nous dire quels sont nos droits ?

Merci d'avance