Mon fils est-il à ma charge ?

Bonjour,
Je suis séparée du père de mon fils depuis plusieurs années, mais nous avons toujours tout réglé à l'amiable. J'hésite à passer devant un juge, suite à plusieurs conflits sur les dates de garde.
On a toujours considéré que mon fils n'était pas à ma charge, car il vit la plupart du temps chez son père.
Mais... étant donné qu'aucun papier n'a été signé, que rien n'a été officiellement décidé, mon fils est-il réellement à la charge de son père ? Ou est-il considéré à la sienne comme à la mienne ( garde alternée ) ?
J'ai toujours fait confiance à son père qui me disait que c'était impossible que notre enfant soit déclaré deux fois si nous étions séparés, mais je commence à douter. Je sais que pour les impôts il a raison, mais pour la caf ?
Merci d'avance