Certificat de conformité refusé.

J'ai effectué une demande de permis de construire pour agrandir, modifier les ouvertures et modifier l'annexe qui se trouve dans le jardin. Le permis de construire a été accepté et j'ai fait ma déclaration de début et de fin de travaux.
Le certificat de conformité m'a été refusé car dans l'annexe en lieu et place de garages j'avais fait deux chambres; mais également parce que l'annexe dépasse 2,50 m de hauteur en limite sud de la construction: Terrain en légère pente, toit terrasse. L'annexe étant en bordure de propriété, il n'est pas possible de faire de local habitable. J'ai donc remis les deux chambres en garages mais reste le problème de hauteur limite sud du bâtiment. La mairie m'a fait savoir qu'ils en resteraient la et ne donneraient pas de suite judiciaire à l'infraction qui est un délit. Il n'en reste pas moins que je n'ai pas de conformité et que sauf a casser pour diminuer la hauteur de la limite sud du bâtiment annexe je n'aurai pas de conformité. La maison date de 1962 , j'ai effectué de gros travaux pour environ 400 000 euros et si je devais un jour vendre cela serait semble t'il impossible. Que me conseillez-vous?