Mon garage considéré comme une annexe !

Bonjour,
J'habite dans une commune avec un PLU. Dans le PLU il est indiqué que j'ai le droit de construire une annexe non habitable (abris de jardin) en limite de propriété (seule restriction il ne doit y avoir sur ma parcelle qu'une seule annexe). Je veux en édifier une. Je suis allé à la mairie pour me renseigner à l'urbanisme on me dit pas de problème, on me donne les documents à remplir et même les extraits du plan du cadastre. Je dépose ma DP et au moment du dépôt on me dit que cela sert à rien de la déposer car elle sera refusée. Motif d'après le plan cadastal je dispose déjà d'une annexe qui est le garage de ma maison.
Ma maison est en fait collée par le garage avec le garage de l'habitation de mon voisin donc il est vrai il est en limite de propriété. Le problème d'après ce que j'ai pu lire un peu partout," une annexe est une construction édifiée isolément du bâtiment principal sans communication directe avec lui". Dans mon cas le garage est attenant à la partie habitable. J'ai une maison avec un rez de chaussé et un étage. Dans le prolongement du rez de chaussée il y a mon garage. Je précise qu'un des murs du garage sur le côté est aussi le mur de la partie habitable. En fait pour moi cela constitue pour moi une partie attenante et pas une annexe. De plus la mairie me dit que si le garage avait été transformé en zone habitable il n'y aurait pas de problème.
Ma question est simple puis je contester que la mairie juge mon garage comme une annexe et pas comme une partie intégrante de la maison.

Mis une photo prise sur net pour montrer l'architecture de la maison (chez moi, la partie droite du garage est en limite de propriété, collée au garage du voisin. Mais on voit bien que le garage est en liaison directe avec la partie habitable)

MERCI par avance pour vos réponses.