Fraude?

Bonjour,

Je suis séparée du père de mes 3 enfants.
Nous vivions en concubinage. J'ai pris une location et vis désormais seule avec mes enfants. Ils vivent avec moi parce que leur père est très souvent absent de par son travail. Nous nous sommes séparés d'un commun accord et avons gardé de bons rapports (je dirais meme que nous nous entendons mieux depuis que nous vivons chacun chez soi).
Je suis donc déclarée seule auprès de la CAF; je ne touche aucune aide de parent isolé mais par contre je bénéficie de l'APL.
Mon ex concubin voient ses enfants uniquement chez moi. Il tache de passer le plus souvent possible et reste des fois plusieurs heures avec eux, dans mon logement. Sauf que notre entourage (voisins, amis..) s'imaginent que nous fraudons. Visiblement, notre entente dérange des personnes!
Pourtant il a son domicile; il paie ses impots (sur le revenus, taxes foncières et taxe d'habitation), il paie également ses factures.
les personnes peuvent ils nous dénoncer pour fraudes alors que nous sommes dans la légitimité au niveau des papiers, que nous avons chacun notre domicile?
De plus, le bail est à mon nom. J'ai donc le droit de recevoir qui je veux, le père de mes enfants compris non????
A priori je n'ai rien à craindre mais j'aimerais que vous me le confirmiez quand meme
Merci pour vos réponses