Refus prime activité

Bonjour,je vous explique ma situation,mon fils de 21 ans loger à titre gratuit chez nous à son propre numéro d'allocataire.Il travaille est à le droit à la prime d'activité.
Ma conjointe est en chômage et moi je travaille à 80% et très rarement à 100%.
Le totale de notre foyer à 2(sans compter mon fils car je le rappelle fait sa propre déclaration à la caf) est de 2240€ par mois.
Ayant contacté la Caf,il y a 1 ans de cela pour savoir si je devais l'enlever de mon dossier celle ci m'a confirmé que non,cela ne changeait rien pour nous donc il apparaît toujours dans mon dossier même si il a son propre dossier.
A ce jour,ne touchant plus d'Apl,je pensais pouvoir prétendre à la prime d'activité mais je viens de voir que la réponse de caf est negative.
Je me demande si cela est dû au faite que mon fils apparaît toujours dans mon dossier.
Dois je l'enlever pour pouvoir enfin prétendre a la prime d'activité ou cela ne change rien??. Merci Cordialement