Fosse septique du voisin poser sur mon terrain

Bonjour,
Ayant fait l'acquisition d'une maison au mois d'août 2019 je n'ai pas été mis au courant par l'ancien propriétaire qu'il avait autoriser la pose d'une fosse septique au voisin.
Mais il y a 2 jours la famille de la personne qui possède la maison mitoyenne avec la mienne a pris contact avec moi concernant la fosse septique, il me demande si je serai prêt à autoriser une servitude pour accéder à la fosse septique or il n'y a jamais eu d'acte notarié stipulant l'autorisation de la pose de la fosse septique sur mon terrain ni même un acte notarié parlant d'une servitude pour accéder à la fosse.
Ayant discuter avec ma femme de la situation nous sommes tombés d'accord pour refuser la création d'une servitude, car nous avons acheté la maison en étant sûr que la maison mitoyenne ne pourrai jamais être rénové car elle ne possède aucune terre pour pouvoir disposer d'une fosse septique et le raccordement au tout-à-l'égout et impossible dans notre situation géographique.
Je voudrais donc savoir si je suis dans mon droit en refusant la création d'une servitude sachant qu'il n'y a aucun document parlant de cette fosse septique, je voudrais également savoir s'il serait possible de demander au propriétaire de la maison mitoyenne de retirer la fosse septique et enfin serait-il envisageable de pouvoir se retourner contre l'ancien propriétaire pour ne jamais avoir parlé de cette fosse septique à moi-même, au notaire ainsi qu'à l'agent immobilier.
Je n'envisage en aucun cas d'attaquer en premier les voisins ou même d'attaquer l'ancien propriétaire, je voudrais juste être sûr d'être dans mon droit en refusant tout accès à mon terrain sans que les voisins puisse me porter préjudice.
En vous remerciant pour le temps passer à lire mon message
Cordialement