Poste de travail occupé par supérieur

Bonjour à tous,

toute nouvelle sur le forum j'espère que quelqu'un pourra me donner conseil.

Alors voilà, je travaille seule dans une petite médiathèque. Celle-ci est modulable et peut accueillir au besoin des conférences ou des animations que j'organise.
Sauf que depuis peu, mon supérieur propose cet espace de réunion sur mes heures de travail à des personnes extérieures (associations...), ce qui implique que je ne peux pas travailler à mon poste, ni aller ailleurs pour effectuer mon travail.
La première fois, pensant que c'était exceptionnel, j'ai posé une journée de congés mais j'ai cru comprendre que ça risquait de devenir régulier et je ne veux pas que tous mes congés et mes heures de récup' soient posés sur ces temps où je ne peux pas accéder à mon poste de travail, juste à cause d'une conférence...
Avez-vous déjà été dans ce cas ou alors connaissez-vous un article me permettant d'éviter de poser des heures à répétition et de faire valoir mon "droit au travail" auprès de mon employeur ?

Je vous remercie vraiment par avance de l'aide que vous pourrez m'apporter !