Je vis avec un compagnon sans être mariée ni pacsée

Bonjour,
je vis avec une personne sans être ni mariée ni pacsée (la fiche à remplir fournie par la caf faisait bien la différence) et nous participons chacun aux frais (loyer ...) à hauteur de 50 %. La CAF prétend que je n'ai droit ni à la prime d'activité, ni aux allocations logement ni à aucune aide car les revenus de mon conjoint sont pris en compte alors même que je ne suis pas imposable et que nous avons chacun une déclaration d'impôt.
Le problème est qu'à chaque fois que je me renseigne à la CAF, j'ai autant de version que d'agent à qui je pose la question .
MERCI de votre réponse