Litige sur bornage

Bonjour,
Mes voisins viennent de m'adresser un courrier pour me demander de retirer toute ma clôture que je viens de poser pour raison d'empiètement sur leur parcelle, selon eux. Voici les faits marquants:
J'ai fait construire une maison, dont le permis a été accepté le 23 janvier 2006. Le 05 décembre 2005, soit un mois avant, un géomètre expert est venu borner le terrain à la demande de l'agent foncier. Ce bornage a donc bien eu lieu le 05 décembre 2005 et était contradictoire, signé par tous les voisins. Ce PV de bornage m'a été adressé, et également envoyé à mon notaire qui a dressé les actes de propriétés. Sur ce plan de bornage apparait seulement 2 bornes qui séparent ma parcelle de celle de mes voisins. J'ai toujours eu connaisance exclusivement de ce plan et de ces 2 bornes. Je me suis donc basé là-dessus pour dresser ma clôture. En précisant toute fois que sur la limite séparative, qui fait 50 mètres environ, je suis propriétaire de toute la haie privative et donc de tous les chênes qui s'y trouvent. Sur le plan, le géomètre expert à tracé une ligne parfaitement droite pour caractérisier la limite entre ma parcelle et celle de mon voisin. Or, en posant ma clôturen il s'avère que trois chênes se trouvaient sur la limite, voire très légèrement à l'extérieur de mon terrain. Je téléphone au géomètre qui me dit "pas de soucis, vous êtes le propriétaire des chênes, vous posez votre clôture et contournez les 3 chênes concernés vers l'extérieur. Cependant, dans le fameux courrier que je viens de recevoir, mes voisins font reference à une borne qui se trouve justement au niveau de ces trois chênes ( du coup à l'intérieur de chez moi ) et me demande de piquer dessus. En contactant de nouveau le géomètre, ce dernier m'a avoué qu'il était revenu le 24 janvier 2006 ( 1 jour après mon permis de construire ), à la demande des voisins, pour poser cette fameuse borne!!! un mois seulement après le PV de bornage contradictoire! je n'ai jamais été averti, ni consulté, ni informé du nouveau plan et de la nouvelle borne! Il me dit " ce n'est pas grave car ça ne remet rien en question Monsieur! elle juste dans l'alignement des deux autres!". Mais le problème, c'est que sur le terrain, même si elle est alignée, j'ai trois de mes chênes qui se trouvent chez mes voisins!!! quels sont mes droits? puis-contester le fait que j'étais propriétaire et qu'on ne m'a rien dit? que je n'ai rien signé? cette borne m'est-elle opposable? je ne sais plus quoi penser. J'éspère que vous pourrez m'éclairer. Merci d'avance!