Visite controleur CAF - APL

Bonjour,
Ce matin, j'ai eu un controleur de la CAF qui s'est présenté à ma domicile. Il a tout d'abord vérifier quelques documents types loyer, quittance edf-gdf, assurance...en fait, pour en arriver à savoir si mon conjoint vivait à mon domicile. Celui ci est domicilé chez sa maman pour le moment car il est au chomage et ne peut pas participer aux dépenses du ménage. Nous avons une petite fille de 10 mois ensemble et je suis dans l'attente d'une maison + grande afin qu'il puisse venir vivre à temps complet avec nous. Il apporte régulièrement des couches et petits pots à notre fille, de ce fait je n'ai pas demandé de pension alimentaire. . Or, le controleur de la CAF ne me croit pas, il trouve cela étrange que je ne demande pas de pension. De plus, mon conjoint est arrivé en plein controle car il venait avec moi chez le kiné pour la petite... le controleur doute de ma sincérité. Il m'a fait signé une attestation sur l'honneur comme quoi je vivais seule et que monsieur était chez sa maman. Que va t il se passer maintenant ? Etait il dans son droit de me juger :''c'est bizarre monsieur est là alors qu'il ne vit pas avec vous'', ''il ne subvient pas aux besoins de l'enfant alors qu'il l'a reconnue'', ''je sais que vous avez fait une demande de logement aux 2 noms auprès des HLM''... et j'en passe !Pourtant ce n'est pas faute de lui avoir expliquer la situation. Je vis seule avec mes enfants pour le moment car je ne peux pas faire autrement. Je suis en congé parental et ne perçois que les prestations familiales + le complément pour garder mon enfant + de l'APL. En signant cette attestation, que va -il en faire ? Je n'ai rien à me reprocher, c'est bien pour cela que je l'ai signée mais à ses yeux je me suis sentie coupable et jugée. Merci de me répondre si vous avez vécue cette situation, car je suis sans voix devant tels comportements. Et je me demande quelle va être la suite ? merci à tous