Cumul emploi association pour fonctionnaire d

Bonjour,
je suis fonctionnaire d'etat à temps plein et je travaille aussi dans une association quelques heures par semaine.
Mon employeur de l'association me dit qu'il doit payer toutes les charges patronales pour moi même si je ne les "utiliserai " jamais.(cotisations aux caisses de retraite, maladies...
est ce vrai ? ou ne peut-il que payer la CSG et le RDS??
Merci pour vos réponses