Litige CAF

Bonjour,
Je suis en litige avec la CAF concernant les allocations que j'ai percues pour mon appartement entre septembre 2009 et octobre 2011. Ils me demande de leur rembourser 2700 euros car mon ami vivait avec moi et son adresse pour les impots était la mienne. Cependant il a toujours précisé qu'il était logé à titre gratuit et j'ai toujours assumé les charges de cet appart toute seule. Il n'a jamais été mentionné sur le bail et toutes les factures concernant cet appart sont à mon nom.
Que puis-je faire? J'ai renvoyé une lettre en recommandé au service des recours mais je n'ai pas encore de nouvelles.