Permis modificatif ou pas

bonjour
nous avons obtenu un permis de réhabilitation d'une maison en decembre 2012.
il nous a fallu 2 ans pour l'obtenir car les voisins s opposait a celui ci(se sont des anglais).
le maire nous avais dit d'attendre le delai de recours des tiers avant de commencer les travaux.
une fois les travaux commencé on a eu le droit a pas mal de vandalisme(casse des tuyaux d'evacuation sous le gravier de la dalle pointe dans le passage, installation caméras pour nous surveillé et j'en passe.
aujourd'hui, le maire me téléphone et me demande de faire un permis modificatif.
quand je lui demande pourquoi il me repond que sans n'avoir rien mesuré, ma construction n'est pas conforme(trop haute).
était prévu 8.65 en faitage la elle fait 9.30 mais je doit remettre le terrain naturel en place et au final j'aurai 8.75 environ. cela est au rajout dans chauffage au sol à l'étage.
j'ai également appris qu il me demandait cela car mes voisins conteste aujourd'hui mon permis.
etant donné qu'il n'y a eu aucune contatation officielle et que les travaux sont en cours dois je faire se permis modificatif ou dois attendre d'avoir une non conformité avant de le faire.
Je subit une pression enorme de ses voisins qui m'envoie les autorités régulierement pour de multiples motifs infondés.
merci