Litige superficie propriété juste après achat

Bonjour,
J’ai acheté hier une propriété de 1008 m2 de terrain, avec maison et petites dépendances dont une indiquée sur le cadastre. ½ heure après mon arrivée sur place est arrivé un voisin furieux brandissant un acte notarié de 1961 stipulant que cette propriété ne faisait que 904m2, soit 104m2 de moins.
Tous les terrains de mes voisins proches et celui-ci appartenaient à des frères et sœurs. Le mien m’a été vendu par le neveu par alliance de l’une des sœurs qui lui en a donné la nue-propriété en 1995 par acte notarié et qui est décédée il y a un an et demi. Il y a eu aussi un remembrement vers 1995 (je crois) et le cadastre fait bien état de la surface actuelle de 1008m2.
Selon mon interlocuteur, la clôture grillagée qui borne le terrain a été installée en débordant sur 2 terrains voisins avec accord oral d'utilisation, mais pas de don, et ne constitue en rien les limites véritables. Il y a donc erreur du cadastre et des actes postérieurs à 1961.
Sur ce, le maire, qui habite à une cinquantaine de mètres est aussi venu pour évoquer le problème et m’a dit qu’il existait une assurance en cas d’erreur du cadastre.
Je pense qu’il s’agit aussi d’un problème de famille car la propriété à échappé à la famille directe pour échoir à un « étranger », d’où leur réaction uniquement depuis qu’ils savent ne pas en hériter.
En plus, il y a trois versions de la taille de la propriété : l’acte de 1961 , la clôture actuelle et le cadastre.
J’ai essayé de calmer l’homme, de lui demander au moins la photocopie de l’acte (ce qu’il a refusé car dit-il mon notaire peut se le procurer lui-même), d’écrire une réclamation (conseil de mon notaire). Mais selon les deux notaires en cause, tout est forclos car il y a eu un acte notarié depuis, entérinant les limites actuelles et datant de plus de 15 ans. Je lui ai demandé s’il n’existait pas un moyen de faire un dédommagement pour les 104m2. Il ne veut même pas y penser et en fait une histoire de principe. Donc c’est le tribunal ! Mais à qui doit-il s’attaquer ? A moi ou à mon vendeur et à son notaire qui ne m’ont pas avertie du problème avant que je ne signe la promesse de vente ?
Selon le contestataire, l’annexe indiquée sur le cadastre est aux 9/10ème sur leur terrain, donc destruction, alors que je comptais en faire un garage. Et pour lui, le bornage et les frais seront aux charges du perdant, donc moi.
Ce sont mes plus proches voisins, probablement ma dernière demeure car je suis proche de la retraite et tiens à avoir de bons rapports avec eux. Et en plus je suis une veuve senior au chômage, il y a beaucoup de travaux dans la maison, donc je n’ai pas les moyens de payer un bornage (1.500€), pas envie de me prendre la tête, et je n’ai aucune envie non plus de me retrouver avec une propriété tronquée par rapport aux distances physiquement définies par la clôture grillagée, surtout devant la propriété (derrière c’est moins grave).
Quelles sont les réelles limites ? Celles de la clôture installée depuis de nombreuses années, celle du cadastre ou celles de l’acte notarié de 1961 ?
Que faire ?
Merci si vous êtes "spécialistes" de ce genre d'affaire et avez une réponse à me proposer.
Bonne année 2010 à vous toutes et tous. Pour moi, c'est mal parti!