Association et salarié : jour imposé ou non ?

Bonjour,

Je travaille depuis quelques mois dans une petite structure (association).
Fin juin il y a la journée des associations de ce que j'ai compris, on nous demande d'être présent(e)s, considéré comme jour récupérable ensuite.
Ce n'est pas imposé, c'est simplement "ce serait super que tout le monde soit là, on va travailler et s'amuser, il faut venir"............

Il se trouve que suite à plusieurs conflits récent, je n'ai plus "envie" (ni la santé qui en a pris un coup, je ne parle pas de dépression ni d'un petit rhume car j'ai des problèmes de santé à la base et ils le savent), je n'ai donc plus "envie" si on peut dire de répondre toujours présente quand ça leur chante...

Sachant que ce n'est pas imposé ni du vrai travail à proprement parler, ai-je le droit de prétendre que je ne suis pas disponible voire que je ne souhaite pas y assister tout simplement ?
Si c'était imposé, je n'aurais pas le choix on est d'accord... mais là pour le coup...
Je ne trouve rien dans notre règlement qui réponde à ma question!

Merci pour vos éventuelles réponses.