Verser ou pas un loyer à mon mari

Bonjour,
Je suis marié depuis 9ans sous le régime de la communauté de bien. Mon mari a eu en donation après notre mariage un hangar agricole que nous avons par la suite transformé en habitation et qui est devenu donc notre logement familial. Toutes les factures des travaux sont au nom de mon époux car c’est lui qui en majorité c’est occupé des travaux . Aujourd’hui, il Souhaiterait que je lui paye l’équivalent d’un loyer pour couvrir le prêt qu’il a contracter pour les frais des travaux . Il pars du principe que si je vivais seule avec les enfants dans un logement à mon nom je devrais en assumer la charge ; et il pense donc qu’il est tout à fait normal qu’il en sois de même le concernant en tant que propriétaire puisque j’habite chez lui .
Je ne sais pas comment je dois réagir, car si je devais louer mes revenus moyens me permettraient d’avoir des aides de la CAF; alors que là, il me demande 500€/ mois, ce qui me mettrait en difficulté financière car ayant des comptes séparés, j’assume seul le bon fonctionnement de la maison , le téléphone, les assurances, la taxe d’h , ainsi que 100% de la charge de ma fille et de notre fils.
Je suis perdue.
Aidez moi s’il Vous plaît .