Construction abri de jardin limite propriété

Bonjour,
j'ai construit ma maison sur un terrain. Mon voisin est en train de construire la sienne. Il l'a implantée à la perpendiculaire de ma maison à 3 mètres du grillage séparant les deux terrains avec une vue prenante sur mon jardin. Pour avoir de l'intimité dans mon jardin, je souhaiterais déposer un permis de construire pour un abri jardin de 40 m2 soit 10 mètres de long sur 4 mètres de profondeur, en limite de propriété, soit devant sa maison. Ma demande est en conformité par rapport aux règles d'urbanisme. En revanche, par rappot aux règles du code civil, mes futurs voisins peuvent-ils m demander de démolir cet abri? Merci infiniment de me répondre