Contestation permis de construire

Bonjour,

J'ai constaté depuis 4 mois la construction d'une maison sur une parcelle de terrain (déjà bâtie) juste en face des fenêtres de mon salon.
N'ayant pas vu de panneau de permis, je suis allé voir l'urbanisme et ils ont constaté qu'il n'y avait pas, à priori, de permis de construire accordé sur cette parcelle.
Le service de l'urbanisme a donc convoqué le propriétaire de la parcelle.
Suite à celà, l'adjoint au Maire m'a adressé un courrier en me précisant qu'il y avait bien eu un permis de construire accordé en 1987 !
Et que, vu que les travaux n'auraient jamais été interrompus, le permis est valide.
Or, depuis 7 ans que j'habite dans ce quartier, je n'ai jamais vu l'ombre d'un commencement de chantier ce qui revient à dire que le permis de construire est caduque.
De plus, le panneau d'indication du permis de construire aurait été bien affiché mais dans le jardin.
Désormais, il est visible mais on voit bien qu'il est tout neuf et qu'en aucun cas, il n'existait avant (d'autant plus que j'ai pris des photos de la construction et que jamais je n'ai vu le moindre panneau).
Je soupçonne la Mairie de complaisance d'autant plus que le service "urbanisme" a très mauvais réputation (rumeur sur pot de vin etc.).
Que puis-je faire pour faire annuler ce permis de construire et donc la villa en cours de construction ?