Mise en demeure pour faire une clôture

Bonjour,
Nous avons acheté un terrain il y déjà 2 ans sur lequel nous avons fait construire une maison.
Malgré les nombreuses demandes faites à nous voisins pour partager les frais d'installation d'une clôture ils ont manifesté qu'ils ne participeront pas, c'est pour cette raison que nous avons décidé de la construire dans les limites de notre terrain et à notre charge or, nous avons dû suspendre les travaux temporairement.
Ça fait environ un mois nous avons reçu une citation de la part du conciliateur de notre ville suite à une plaindre déposée par eux encore sur le sujet de la clôture et, partant, une audience de conciliation a été programmée pour le 26 septembre prochain à laquelle bien évidement nous avons prévue d'y aller.
Pas contents avec la citation nous voisins nous ont envoyé aussi une lettre recommandé A.R. dans laquelle ils nous mettent en demeure d'un mois pour rétablir une clôture de 1.50 d'hauteur au minimum du niveau de notre sol.
Ils nous demandent aussi le paiement de préjudices pour les troubles et désordres suites à nous travaux de construction.
Vu que finalement le mur se trouve dans notre propriété je me demande s'ils peuvent me mettre en demeure pour la réalisation des travaux, l'article 654 et suivants du code civil parle de mise en demeure pour la participation pour les murs mitoyens, est applicable cette article dans notre cas ?
Comment dois-je procéder ?

Merci