Accès chantier

Bonjour, nous venons d'acquérir un terrain pour une construction de maison individuelle.
Notre permis de construire a été accepté.
La route pour accéder à notre terrain est interdite au 3t5.
Nous avons donc demandé une dérogation au maire pour l'accès au chantier mais celui-ci refuse car il a peur que le bitume soit abimé.
Il n'y a pas d'autre accès possible au terrain.
A-t-il le droit de refuser l'accès au chantier alors qu'il a accepté le permis de construire.
Merci d'avance pour vos réponse.