Permis de construire justifier les travaux

Bonjour,
J'ai déposé un permis de construire en 2002, transformation complète d'un local en logement l'ouverture du chantier s'est faite en 2005 (après une demande de prolongation) à partir de 2005 mon conjoint à effectuer des travaux de démolition petit à petit à l'intérieur, en 2009 nous avons décidé de prendre un architecte car nous arrivions au stade ou nous ne pouvions plus rien faire par nous-même les travaux sont sur le point de se terminer et et nous venons de recevoir un plainte d'un voisin nous demandant de cesser les travaux car notre permis est caduc, l'urbanisme vient de me joindre en me signalant une plainte et me demande de justifier les travaux depuis 2005, je suis dans l'incapacité de fournir des preuves matérielles telles que des factures car tout à été fait petit à petit sans passer par une entreprise de démolition nous avons juste acheter un véhicule utilitaire pour evacuer les gravas.
je n'ai reçu qu'un recommandé de mon voisin et je me demande si l'urbanisme peut se réveiller aussi tard ? que se passerait-il si je continuai les travaux ? et si je ne produit que des déclarations sur l'honneur mon dossier aura-t-il du poids face à la plainte. ?
Vais-je recevoir un courrier officiel du service de l'urbanisme comment cela se passe-t-il dans un cas similaire ?
Merci de votre réponse