Permis construire refusé

Bonjour, suite aux décès de nos parents en deux mois, mon frère et moi avons signé un compromis de vente pour la maison familiale et le terrain, un promoteur désirant construire un petit immeuble. La demande de permis de construire a été déposée, tout a été fait dans les règles et le cahier des charges, respecté, le maire a signalé qu'aucun logement social n'était demandé, et la procédure suivait son cours. Maintenant nous apprenons que des propriétaires de villas voisines se sont regroupés (4) et ont demandé l'annulation de cette construction et apparemment le maire abonde dans leur sens, nous devons rencontrer à nouveau le promoteur et son architecte pour faire une nouvelle proposition d'immeuble mais en enlevant la totalité d'un étage, sachant bien que la hauteur totale de l'immeuble initial était tout à fait réglementaire. Apparemment certains voisins font pression sur le maire. Ce dernier peut-il nous contraindre à renoncer à notre projet, sachant que notre propriété n'est pas dans un lotissement et que plusieurs petits immeubles sont construits dans le secteur. Merci pour votre réponse