La mairie revient sur mon permis de construire accepté

Bonjour,
Mon permis de construire a été refusé car ma maison n'était pas assez dans la bande d’accroche, j'ai donc changé d'emplacement l’accès voiture pour rapprocher la maison et respecter la bande d'accroche, le permis a été accordé le 27/06/16 grâce à ce changement ,aujourd'hui le terrassement a commencé et l'adjoint au maire veut bloquer la construction car il trouve à dire que le changement d’accès empercherait un projet de passage piéton, il dit également qu'il n'à jamais eu connaissance de ce changement alors que le permis est signé de sa main.
La mairie a t'elle le droit de revenir sur sa décision d'accord de permis de construire 7 mois après?
Est ce que je peux continuer les travaux sans risquer de problemes de leur part?
Je suis assez inquiet et vous remercie d'avance pour vos réponses
Cordialement
Vincent