Renseignement sur local sur terrain issue de donation

Bonjour
j'ai reçu un terrain en donation avec droit de retour , mais sans usurfruit depuis 17 ans environ, j' ai été à la mairie déposer une demande de permis de construire, mais la mairie me le refuse car j'ai un coté mitoyen sur mon terrain , mais
Les raisons de ce refus est que nos parents vivants on un local de 18 m2 qui sert de rangement sur notre terrain . Rajouté à notre construction la maison ne doit pas dépasser 10 mètres , le local fait déjà 6 mètres de long , alors la mairie nous demande de démolir le local ,MA QUESTION : avons nous le droit de détruire ce local ? sachant que nos parents sont rétissant car dans le cas contraire on ne pourra plus construire