Clôture et crépis voisin

Bonjour, notre futur voisin doit faire construire sa maison à la limite de propriété,nous avons une clôture panneau rigide sur notre terrain. Celui ci nous a demande verbalement de retirer les panneaux, nous avons accepter mais une semaine après son conducteur de travaux est venu nous dire que la clôture va sauter pour installer ses chaises ( ce que nous avons refuser ), il en est suivie maintes coup de téléphone, sms de la part du voisin ( me traitant de folle et sous-entendu abrutie ). De notre côté au vue De la situation qui dégénérer nous avons fait un constat d'huissier qui a constater que nous étions sur notre terrain et de l'état de notre terrain et clôture. Notre aménagement de terrain est fait : pelouse,trottoir carreler, balancoire,abri de jardin etc... Entretemps, la borne du terrain au niveau de la clôture avait disparu alors que lhuissier lavait constaté ( borne remise gratuitement devant nous et le voisin par le geometre car borne en commun :affaire bizarre!!! ). Nous avons revu le supérieur du conducteur de travaux nous demandant de retirer les panneaux, et de passer sur notre terrain pour faire le crépis car le permis de construire est déposer. Nous avons accepter le passage sur notre terrain ( date prévisionnelle ) et avons demander constat d'huissier fin de travaux aux frais du voisin ce qu'il a refuser. A ce jour, nous avons eu rdv avec Mr le maire demandant le passage des ouvriers et de nous faire retirer les panneaux de grillages mais si nous retirons les panneaux de grillage, la peinture sur les panneaux de grillages, poteaux va secailler ce qui veut dire remplacement en totalité de la clôture et réaménagement de notre terrain qui est en parfait état actuellement. Nous avons investit de l'argent et du temps personnel Selon vous est ce abusif de refuser de retirer ou faire retirer les panneaux de grillage? Est ce le constructeur a trouver une solution pour crépir? Si cela va plus loin TGI, sommes nous dans nos droits? Merci d'avoir pris le temps de nous lire, et de votre reponse.. Ps : message très long, désolé