Busage fossé mitoyen

Bonjour à tous

J’ai cherché si des posts répondent à ma question mais n’ayant pas trouvé je sollicite votre aide.

Je suis en train d’acquerir un terrain pour faire une construction.
Le terrain est séparé de celui du voisin (terrain privé également) par un fossé de récupération des eaux de pluies.

Au niveau du cadastre, la limite de propriété se situe au milieu du fossé.
Le voisin a sa clôture de son côté du fossé.

Je souhaiterai faire buser ce fossé à mes frais et ne pas faire de clôture.

J’ai posé la question à la mairie au niveau technique et ils m’on donné le cahier des charges en vigueur sur la commune.

Est ce que cela est possible (mon notaire me dit que même avec l’accord du voisin je n’ai pas le droit de buser un fossé mitoyen car c’est de l’annexion ?!)?
Et si oui quelles sont les démarches administrative ?

Merci d’acance de votre aide car j’avoue être un peu perdu

Max