PLU zone A et UD

Bonjour,
J'habite une commune de 1500 habitants avec un PLU. Je possède une parcelle de terre de 1890 m² comprenant 960 m² en zone UD constructible enclavée attenante à la zone A de 930 m² disposant d'une entrée existante donnant sur le chemin communal de campagne avec une autorisation de voirie délivrée par la Mairie, pour arriver a ma parcelle constructible (30 mètres). Le géomètre a procédé au bornage de mon terrain. La maison ainsi que l'assainissement autonome sera disposé sur le constructible. Mon permis de construire est prêt mais.... on me dit que le permis va être refusé car la partie constructible n'a pas un accès direct avec le chemin communal ?? Alors que je suis chez moi !!!
Pour information : il n'y aura plus d'autres construction autour de mon terrain vu qu'il a été zoné en A. URGENT !! Pouvez-vous m'aider et me conseiller ? Merci pour vos réponse. Bien cordialement.