Panneau permis de construire enlevé

Bonjour,
Je réside à l'étranger depuis presque un an, avant de partir j'ai fait l'acquisition d'une maison ancienne à rénover avec sur le terrain une grange vétuste.
J'ai déposé un permis de construire pour transformer cette grange en habitation.
Le cahier des charges à été assez lourd avec l'urbanisme car dans le coins pas mal de maisons sont classées, il y a un port à proximité etc...
Un panneau permis de construire à été posé au mois de Janvier par un ami pour des travaux prévus en Septembre.
La rénovation de la maison ancienne à commencé mais pas les travaux de la grange.
Le voisin s'est déplacé en affirmant aux ouvrier qu'il s'opposerai à toute élévation de cette grange (élévation d'un mètre cinquante prévue en limite de copropriété).
Le problème c'est que le panneau n'est plus en place, la maison étant vide depuis un moment il a du être enlevé.
Je dois donc reposer un panneau juste trois mois avant le début des travaux.
En cas de litige je suppose que le plaignant pourra dire qu'il n'y avait pas de panneau en Janvier ?
Quels seraient mes recours et surtout dans la mesure ou ce permis à été accordé en respectant le cahier des charges de l'urbanisme puis-je me faire ennuyer par ce voisin.
Sachant qu'aucune gêne ne lui ai infligée cette grange donne sur allée menant à un garage de son côté.