Affichage Permis de construire deterioré

Bonjour,

J'ai entamé des travaux (pose de velux) dans ma maison de campagne.
Après avoir eu le permis de construire il y a quelques mois j'ai afficher une pancarte visible sur mon terrain pendant les 2 mois nécessaire (enfin je croyais)

Malheureusement, les travaux devaient commencer là, mais j'ai appris qu'on me mettait une amende pour non affichage et construction sans permis. En effet, le panneau a été arracher en mon absence et je ne vais pas régulièrement en ce moment dans cette maison pour m'en être rendu compte.
La construction sans permis est facile à prouver mais le fait que l'affichage a été présent pendant les 2 mois plus difficiles.

Que puis-je faire ? rester a coté pendant 2 mois pour être sur que personne l'arrache et conteste l'absence d'affichage ou commencer quand même les travaux ?

Merci d'avance

Alexandre