Litige de limites de propriété

Bonjour,

Nous avons besoin de vos avis ou expertise, car à ce jour je ne trouve aucune réponse à notre problème dans les textes de lois, sur Internet ou sur les forum...
Je vais essayer de résumer la situation de la manière la plus concise et complète :

Nous avons acheté une maison sur terrain clôturé en 2016. Depuis nous avons effectué des travaux sur ce terrain ( création d'escaliers pour accéder à la totalité de notre terrain de manière plus directe, de massifs fleuris, taille des arbres, ... ).

Au mois de Juillet 2019, notre voisin vient chez nous avec son titre de propriété faisant écho au cadastre pour nous dire que depuis 3 ans nous empiétons sur une partie de sa parcelle, là ou nous avons construit nos escaliers et aménagé nos parterres, et nous demande de cesser d'emprunter ces escaliers et d'entretenir ce bout de terrain...

Lorsque nous avons acheté notre maison en Février 2016, l'ancienne propriétaire nous a toujours confirmé
que ce bout de terrain faisait partie de la propriété. En effet, lorsqu'elle et son mari ont acheté la maison en 1973, ils ont posé une clôture qui est toujours en place aujourd'hui, pour délimiter leur terrain.
Leurs enfants, plusieurs connaissances de la famille dans le village, ainsi que l'ancien propriétaire de notre voisin, attestent que notre ancienne propriétaire et sa famille ont toujours utilisé et entrenu ce terrain comme étant le leur ( en taillant la végétation, en y installant une table de jardin, ... ).

Suite à cela, nous avons entendu parlé de la prescription acquisitive :
En effet, le bout de terrain concerné est accessible depuis notre terrain mais est séparé du sien par une clôture vieille de plus de 40 ans, que les anciens propriétaires de notre maison ont posé suite à leur achat en 1973. Les anciens propriétaires et leur famille l'ont toujours entretenu et utilisé au vu et au su de tous,
notre voisin y compris, ( plusieurs membres de leur famille, ainsi que des habitants du village en atteste ... ), comme nous l'avons fait depuis que nous sommes arrivé en Février 2016.
Il n'existe aucun bornage ou plan d'arpentage des parcelles et je crois comprendre que le cadastre n'a aucune valeur juridique concernant les limites de propriété.

Au mois d'Aout 2019, sur les conseils d'un avocat, j'ai donc fait parvenir à notre voisin un recommandé dans lequel je revendique le bout de terrain litigieux, et si cela ne lui convient pas, nous attendons qu'il saisisse le tribunal pour demander un bornage judiciaire.
En parallèle je demande aux membres de la famille de notre ancienne propriétaire de me rédiger des attestations et témoignages de l'occupation du terrain par leur famille depuis leur achat en 1973, en plus de la cloture vieille de plus de 40 ans, afin de préparer un dossier pour le notaire dans le but de demander la prescription acquisitive.
A ce jour je suis en attente des témoignages qui devraient arriver sous peu, pour aller voir le notaire.

Mais aujourd'hui, Septembre 2019, je reçois un recommandé de la part de mon voisin, en réponse au mien, qui m'invite à faire reconnaitre nos droits devant les autorités compétentes, qu'en l'état actuel des choses, il reste le propriétaire du bout de terrain au vue de son acte de propriété et du cadastre, et que nous devons arrêter dès aujourd'hui d'entretenir le terrain et d'emprunter les escaliers dont nous nous servons tous les jours...

Tout ça pour en venir à mes interrogations :
- Que devons nous faire à présent ? Ne plus emprunter nos escaliers et saisir le tribunal ? Continuer à les emprunter étant donné que nous avons revendiqué le terrain 2 mois auparavant, et attendre que lui, saisisse le tribunal ?

Je vous remercie d'avance de m'avoir lu, et attend avec impatience vos avis sur cette situation...