Certificat d'urbanismes negatif et permis

Bonjour,
dans le cadre de la loi du littoral , nous avons reçu un CU négatif pour l'extension de notre maison; le maire , qui a signé ce CU négatif, nous a cependant accordé le permis de construire; sommes nous attaquables par nos voisins ? peuvent ils utiliser le CU négatif dans un recours contre notre permis ?
merci de vos éclairages