Nous obliger à détruire le mur ?

Nous avons construit notre maison l'année dernière sur une division de parcelle. Entre les deux parcelles, il y avait un mur mitoyen que mon constructeur a, abimé par endroit mais il l'a réparé. Sauf que voilà, mon voisin s'est mis en tête de vouloir nous faire refaire tout le mur arguant que comme nous avons rajouté de la terre, c'est devenu un mur de soutènement et que c'est pour ça que son vieux mur ne suffit plus mais c'est faux. Ils ont effectivement creusé pour les fondations mais évacué la terre et les déblais. Le voisin ne veut rien entendre. Son seul argument, ce sont des photos floues des années 60 où on voit vaguement 3 parpaings émerger (aujourd'hui, on en voit 2 et demi) et nous avons des photos d'avant la construction prouvant que le niveau de terre est sensiblement le même. L'implantation en "espalier" des autres maisons voisines va dans notre sens (à savoir que les terrains n'ont jamais été au même niveau puisque nous même sommes sous le terrain à notre gauche et que lui est dessus le terrain à sa droite) ainsi que la configuration en pente de la rue. Nous sommes également face à la mer donc très exposés au vent et à la pluie ce qui a une incidence sur les sols et leur érosion. Après une tentative (vaine) de conciliation entre lui, nous et notre constructeur, nous avons fini par conclure que nous referions le mur à nos frais, le constructeur fournissant les matériaux. Sauf que voilà, les travaux n'étant pas effectués assez rapidement au goût de monsieur, il y a 15 jours, il nous a envoyé une lettre recommandée nous mettant en demeure de lui fournir le devis du maçon (alors qu'il ne paie rien donc un descriptif je veux bien, un devis certainement pas) et la date pour le 15 février. Sur son courrier, il nous demande de RECONSTRUIRE le mur mitoyen et précise que comme il change de destination, il devient un mur propre. Il ne demande à aucun moment à ce que ce mur soit reconstruit uniquement sur notre fonds et ne demande aucune indemnisation. Sur cette menace, mon constructeur secoue son maçon (ça fait 6 mois que nous courrons après lui), celui-ci se pointe la bouche en coeur le 13 février pour nous dire que le lendemain, le terrassier viendra détruire le mur et qu'il coulera la semelle. Ce qu'il a fait. Évidemment, vu le délai un peu court du maçon, je n'ai pas pu prévenir le propriétaire du fonds voisin (je précise qu'il ne vit pas là, il a divisé sa maison en 2 appartements. Il en loue un et vient de temps en temps dans le 2ème, ce n'est pas comme si il me suffisait d'aller sonner chez lui pour le prévenir. Par contre, nous avons prévenu son locataire des travaux et nous nous sommes excusés des éventuels désagréments occasionnés). Je pensais l'affaire close et que nous en resterions là.
Sauf que, ce matin, monsieur vient sonner chez moi et, alors qu'il devrait être content que les travaux soient commencés, ça ne lui plait plus parce que le mur n'est pas uniquement sur notre fonds. Alors je vous avoue que je n'ai pas été très ouverte à la discussion puisqu'il a commencé à demander à parler à mon mari (c'est bien connu, les femmes sont inférieures aux hommes et n'ont pas leur mot à dire). Nous sommes lundi, mon mari a 43 ans, à 11h il n'est pas à la maison, il travaille. Il semble qu'il n'ait pas aimé que je lui précise qu'il n'était pas à la retraite, lui. Face à sa mauvaise foi (il ne savait pas que nous courrions après le maçon depuis 6 mois alors qu'à chaque fois qu'il téléphone, mon mari le lui dit, difficile de l'ignorer! Il ne pouvait pas savoir que mon mari était au bureau -un lundi matin- ) j'ai fini par couper court à la discussion qui n'en était pas une et lui dire que si il voulait nous faire un procès qu'il le fasse. Ma question est: est-ce qu'il peut nous obliger à détruire le mur qui est en pleine reconstruction pour qu'il soit uniquement sur notre fonds, sachant qu'à aucun moment, il n'a manifesté cette volonté ni n'a demandé de dédommagement pour les quelques 2,5m2 perdus (oui, il y en a qui n'ont rien de mieux à faire, un procès pour au maximum 650/700 euros).
Je précise que nous ne sommes pas contre un dédommagement mais nous voulons que la mesure soit prise par un géomètre et pas à nos frais puisque c'est lui le demandeur. D'autant plus que rien ne nous prouve que ce mur était mitoyen à la base. Il n'avait que la présomption de mitoyenneté.
Je précise également que ce mur dépassera de plus de 40 cm du sol et que si j'ai bien lui, ça en fait, de fait, un mur de clôture servant les deux fonds (nous avons en plus, l'intention de mettre des pare-vues dessus afin que nous soyons tranquilles chez nous, sans ce voisin indélicats qui lui se permet de laisser ses plantations (qui ne sont pas à 50 cm de la limite de propriété) déborder sur notre terrain.
Ce qui me gênerait, c'est être obligée de détruire et reconstruire un mur dans 2/3 ans d'autant plus que nous envisageons de faire goudronner notre allée rapidement (les pieds dans la boue, ça n'a rien d'agréable) et que l'écoulement des eaux de pluie sera en fonction de ce mur, ça plus les claustras, ça risque de faire un peu cher pour 2,5m2.
Si vous pouviez m'apporter quelques lumières car pour moi, il fallait qu'il exprime avant cette exigence, lors de la tentative de conciliation avec notre constructeur (qui ne nous à même pas demandé si il le mettait ou pas entièrement sur notre fonds) et au minimum dans son courrier recommandé puisqu'il nous mettait en demeure de reconstruire le mur et jusque là, c'est tout ce qu'il demandait.
PS: re précision: je vis dans le Finistère et en ce moment, la lisibilité pour les artisans est assez faible à cause des tempêtes à répétition, les artisans travaillent donc quand ils peuvent ce qui explique un peu leur précipitation. Ils sont intervenus quand ils ont eu une micro-fenêtre (Ulla est arrivée quelques heures après).