Permis de construire accepté affiché 2 mois

Bonjour,
Nous avons obtenu depuis maintenant 1 an environ un permis de construire de rehaussement d'un étage d'une maison que nous avons achetée. Le permis de construire a été affiché et figure encore à la vue de tous. Cette construction se trouve en quasi limite de notre terrain car nous avons gardé en le rehaussant à la demande de l'architecte de la ville une cave qui elle est en limite de propriété. C'est nous même qui avons établi les plans de la nouvelle construction en vérifiant sur le plan cadastral les distances. Le permis a été accepté, je pense que tout était donc conforme.
Sur la façade nous avons ouvert comme indiqué, une fenêtre qui d'après les mesures du plan cadastral sera à 1.90 du mur du voisin. Quoiqu'il arrive nous poserons cette fenêtre à 1.90 En fait il semblerait que dans la réalité, qu'il y ait quelques centimètres de moins,
Le voisin conteste actuellement l'ouverture de cette fenêtre, alors que les 2 mois sont écoulés. Cela fait 3 semaines qu'il nous harcèle, prend sans arrêt des photos depuis son toit, nous menace de procès, toujours rien, pas de lettre recommandée, quelqu'un peut il me rassurer : que mon voisin ne peut rien contre notre permis de construire., cette fenêtre.