Agrandissement en limites de propriété

Bonjour, nous venons de recevoir l'arreté refusant notre permis de construire pour des travaux concernant la réhabilitation d'une vieille maison. Un des points de refus concerne la création d'une extension de la maison existante. La maison est édifiée en limite de propriété sur l'arrière de celle-ci. Une extension de la maison (avec ouverture donnant dans la maison) et des annexes ont été construites dans le prolongement de la maison et toujours en limite de propriété. Nous voulions donc agrandir l'extension existante pour avoir un volume exploitable (il doit y avoir actuellement 12m2 avec un plafond à 2m environ) et pour la réhabiliter de façon à rejoindre les dimensions de la maison et n'avoir qu'une seule façade et une seule toiture. On pensait que cela serait beaucoup plus harmonieux de réaliser une construction de ce type plutot que d'avoir des décallages de niveau et de toiture. Le permis nous a donc été refusé sur ce point parceque dans le PLU il est mentionné qu'on ne peut pas construire en limite de propriété d'autres batiments que des annexes et ne dépassant pas 3.2m de hauteur. Nous avions bien vu ce point mais selon nous il ne s'agit pas d'une construction puisque nous allons garder les murs existants à l'arrière et seulement avancer le mur de façade. Certes la hauteur de la façade est supérieur à 3.2m mais elle n'est plus dans la zone de limite de propriété et le mur extérieur est lui supérieur à 3.2m (mais bien sur édifié avant le PLU). Je voudrais donc savoir quel pourraient etre les modifications à apporter pour que le permis soit accordé (si vous pensez qu'il puisse l'etre). j'espère avoir été assez clair... merci de votre réponse