Tour d'échelle : quelles démarches ?

Bonjour,

Nous avons construit une maison dans le village de Rustrel à 50 mètres d'un château classé Bâtiment de France.La mairie nous a accordé le permis a condition de respecter les conditions des Bâtiments de France,ce que nous avons fait.
L'arrière de notre maison donne sur le jardin du voisin,pour pouvoir faire le crépis et rendre notre construction isolée et esthétiquement plus en accord avec le château, nous devons mettre un échafaudage chez ce voisin. Une première fois ou nous avons voulu faire les façades, il nous a accordé un droit de passage,mais manque de chance notre fournisseur de fenêtres n a pus respecté les délais de livraison,et donc nous n avons pas pus faire notre façade.
L'hiver passé, il y a quelques jours de ça nous avons renvoyé un recommander pour redemander un nouveau tour d échelle,mais cette fois ci le recommander a été refusé (le voisin n'a pas pris la lettre de demande et le recommandé m'a été retourné).
Comment pouvons nous faire alors que nous avons bloqué des dates avec une entreprise pour nos façades? Quelles sont les démarches à suivre auprès d'un tribunal? Que faut il fournir à notre demande? La mairie ou l'architecte conseil des Bâtiments de France peuvent ils intervenir pour faire valoir un droit de passage?
Merci de votre attention, toutes informations pouvant nous aider nous seront utiles.

Très cordialement.

Roux Suzy