Refus allocation logement propriétaire-emprunteur handicapée

Bonjour, la caf vient de m'informer leur refus à l'aide au logement concernant mon logement principal dont j'étais propriétaire de 50% et suite à mon divorce j'ai acheté la part de mon ex époux en demandant un crédit à la banque pour 15 ans. A ce jour je suis propriétaire-emprunteur de ma maison. Le motif de ce refus je cite "le prêt qui vous été consenti ne permet pas l'étude du droit à cette aide,vous avez sollicité ce prêt pour rembourser la part de Monsieur concernant ce logement". Je suis reconnue handicapée à 80 %, mon logement a été aménager pour mon handicape c'est pour cette raison que j'ai préféré acheté la part de Monsieur, au lieu de vendre et racheté un autre logement je trouve cela absurde . la caf me demande de faire une lettre de recours.
Merci de me donner vos conseils. Cordialement