Parcelle occupée par des voisins

Bonjour,

j'ai acheté, l'an dernier, une maison avec un jardin dont une parcelle, d'environ 20 m de long sur 1.50 m de large, se situe derrière un vieux muret d'environ un mètre cinquante de haut. Les anciens propriétaires avaient laissé l'usage de cette parcelle aux voisins (2 familles concernées), lesquels y ont installé - en toute connaissance de cause - pour les premiers, un potager ; pour les autres, un figuier (planté il y a 15 ans).

Les premiers m'ayant informé de leur intention d'acheter la parcelle "qui ne doit pas coûter très cher, mais pas avant plusieurs années", j'ai répondu que je préférais garder le terrain (constructible). Ils m'ont alors demandé de faire réparer le muret qui s'écroule petit à petit. Mais, même si ce mur s'écroule, il s'écroulera sur la parcelle qu'ils occupent, mais qui m'appartient.
D'où ma première question : Suis-je obligée de faire réparer le mur dans la mesure où ils ont installé un potager derrière ?

Les seconds m'ont expliqué qu'ils étaient là depuis plus de 15 ans, que "certains propriétaires avaient donné ces morceaux de parcelles mal fichus" à d'autres voisins et m'ont autorisé à cueillir les fruits de l'arbre (qu'il ont planté) qui se trouveraient de mon côté.
D'où mes deuxième et troisième questions. L'arbre qu'ils ont planté est sur mon terrain : A qui est l'arbre ? Qui a le droit d'en cueillir les fruits ?

Enfin, dernière question : comment dois-je faire pour récupérer l'usage de cette parcelle ? J'ai les plans du cadastre et la parcelle est clairement délimitée. Dois-je quand même faire venir un géomètre ? Envoyer un courrier pour avertir les voisins ?
Ou simplement faire comme une de mes voisines et dire : "Dans 8 jours, je récupère mon terrain".

Merci pour vos réponses !