Demande d'absence refusée, mais a t il le droit ???

Bonjour,

Voici ma situation actuelle.
Je travaille dans un etablissement social. Nous sommes 2 salariés sur le site, et notre directeur est sur une autre antenne de la structure(dans 90% du temps), situé à 30kms.

J'ai fait une demande d'absence pour 1 demi journée, pour honorer un RDV médical, ou plutot assister à 1 echo de grossesse. Alors je sais que dans la législation, ruien n'est fait pour le pere en terme d'absence au travail pour ses RDV.
Donc demande d'absencve pour 4h00 (= 1 apres midi), et refus de mon directeur, car ce jour là je suis seul toute la journée sur l'établissement car ma collègue est à 80% congé parental et ne travaille pas les mercredi.
Il dit que ma collègue doit venir travailler pour assurer une présence. Or lorsque cela arruive (absence de salariés) sur l'antenne de l'établissement, mon directeur assure lui même cette présence (et non les salariés)

Je voulais savoir si ce refus d'absence (recup) ou même congés lorsque je prends 1 semaine peut être refusé sur le motif ci dessus. Et dans le cas où ma collègue est absente le mercredi, peut il lui demander de venir travailler.
En fait je me rends compte que pendant 3 ans je vais galérer pour mes congés.

Si quelqu'un peut m'aider ou me donner des textes de références.
Merci