Droit de pasage sur terrain enclavé

Bonjour,

nous venons d’acquérir notre maison et nous y avons un terrain enclavé appartenant à un autre propriétaire .
Nous avons demandé avant la signature du compromis si de part ce terrain il y avait une servitude ou droit de passage et le notaire nous a affirmer que non ( et cela figure sur l'acte de vante final).
Mais lorsque nous avons voulu poser le portail pour clôturer notre terrain le maire est intervenu en nous interdisant de poser le portail car nous entravions le droit de passage du terrain.
le terrain est enclave par différent terrain, il se situe au milieu de plusieurs parcelles bien entendu celui ci n'est pas clôturé ni entretenu.
Ma question est puis je tout de même poser mon portail qui se situe à 5m de la voirie et sur mon terrain tous en sachant que je n'ai rien de stipuler sur mon acte de vente

merci d'avance

Cordialement