La caf affirme que je ne vis pas toute seule

Bonjour,
je viens d'avoir un controle de la caf, qui me certifie que je n'habite pas toute seule! je viens de déménager et me suis permis de louer une villa au loyer de 700€. je touche les apl pour cette location. je précise que j'ai 2 enfants en garde alternée. j'ai fait ce choix de maison pour mes enfants qui est proche de l'école.
séparée depuis 2007, je me remet difficilement de cette séparation. j'ai rencontré quelqu'un qui vient chez moi régulièrmenent.
la caf m'affirme que je ne vis pas toute seule! elle a fait une enquête de voisinage et sur dénonciation, elle est sur que je fraude à l'heure actuelle.
nous n'avons pas l'intention de vivre ensemble. en effet lui aussi a 1 fille et nous savons par experience que la vie à deux n'est pas facile et à 5 (famille recomposées) encore plus dur!
la caf souhaite que je justifie qu'il ne vit pas chez moi, avec justificatif de domicile (facture edf, assurance habitation). hors cet homme vit dans une maison familiale à titre gratuit. c'est sa grand-mère qui paie toutes les factures! il n'a que sa fiche de paie qui justifie son domicile et une attestation de sa grand-mère qui confirme la mise à disposition de la demeure à titre gratuit!
est-ce légale? est-ce que la caf va se satisfaire de ça?
merci pour vos réponses et votre aide