Congés exceptionnel pour un déménagement

Bonjour,

je suis fonctionnaire territoriale et je viens de demander un jour de congé exceptionnel à la mairie où je travaille car je dois déménager l'appartement dont j'ai hérité de ma mère et qui constitue donc une résidence secondaire. Mais la mairie refuse de me l'accorder car elle me dit que c'est l'agent qui doit déménager. Etant donné que je n'ai pas changé d'adresse elle considère que ce n'est pas moi qui déménage alors que je suis bien propriétaire de cet appartement !
Qu'en pensez-vous ? Qui a raison ?