Les voisins contestent notre construction

Bonjour,

Nous avons fait l'acquisition d'un terrain pour y construire notre future maison. Le permis de construire a été validé et accepté par la mairie. Dans 1 semaine et demi, les 2 mois d'affichage seront écoulés.
Cependant, nous avons reçu un courrier AR de la part de nos voisins nous signalant leur désaccord concernant la position de notre maison sur le terrain (or, nous n'avons pas le choix, nous respectons le PLU délivré par la mairie) et la hauteur qu'ils jugent élevée (hauteur qui respecte là aussi le PLU). Ils estiment que cette future maison engendrera des nuisances de vue et d'ensoleillement et une baisse de leur patrimoine.
Ils souhaitent des compensations financières ...
Que devons-nous faire ? Que risque t-on ? Devrons-nous vraiment verser des compensations financières alors que nous sommes dans notre droit et que nous avons tout respecté ?
Nous avons appelé la mairie qui ne s'inquiète pas ... mais je me méfie ...
Merci par avance de vos retours.