Installation d'une gloriette

Bonjour,
J'ai l'intention d'installer une gloriette dans mon jardin. Celle-ci a une forme octogonale et fait moins de 20 m2. J'ai donc déposé une Demande Préalable de Travaux.
On me demande de la mettre en limite de propriété ou à 3 m de la limite de propriété.

J'accepte de la mettre dans l'angle du terrain en limite de propriété, car pour moi, 3m ce n'est pas possible.
Là la DDT refuse de m'accorder l'autorisation car, la forme octogonale ne permet pas que tout point de la construction soit en limite de propriété alors que 2 côtés de l'octogone sont sur les limites de propriété...

Je précise qu'actuellement la limite de propriété est matérialisée par un grillage.

L'article du PLU concerné dit :
7.2. Implantation par rapport aux limites de fond de propriété
Les constructions peuvent s’implanter sur les limites séparatives des fonds de propriété ou en retrait.
Dans ce dernier cas, la distance comptée horizontalement de tout point de la construction au point le plus proche de la limite séparative doit être au moins égale à la moitié de la différence d’altitude entre ces deux points sans pouvoir être inférieure à 3 mètres (soit L>H/2 et L>3m).

Je n'ai pas la même interprétation que la DDT car je ne suis pas en retrait , mais en limite séparative.
Afin de faire plaisir, j'ai proposé une extension du toit dans l'angle afin de faire un angle droit. Mais refus de la DDT car certains côtés de l'octogone ne seront pas en limte de propriété. En fait la DDT veut une gloriette rectangulaire placée dans l'angle.
Je ne partage pas cet avis et en plus je trouve les arguments absurdes (on n'est pas capable de m'expliquer en quoi cela gêne) mais n'étant pas un spécialiste, quelqu'un peut-il me donner son avis ?

D'avance merci