Poteau électrique et construction de maison

Bonjour,

Nous avons acheté un terrain, et nous avons finis les plans de la construction.
Sur ce terrain, il y a un poteau EDF qui sert à alimenter le voisin. Sur les plans d'implantations de la future maison, la maison sera sur le poteau.
Nous avons donc appelé EDF ce jour, pour avoir la marche à suivre, et ils nous ont dit que les travaux seraient à notre charge: pour faire enterrer la ligne entre 6000€ et 8000€ et pour la déplacer entre 3000€ et 4000€.
Ont-il le droit de nous faire payer alors que c'est une propriété privée et que ce réseau ne sert pas à alimenter notre terrain ?
Merci d'avance pour votre aide