Hébergement familial

Bonjour,

Etant âgé de 57 ans et en situation précaire, je suis allocataire du RSA et bénéficiaire de la CMU.

En avril de l'an dernier mon père de 84 ans (double retraité, à l'aise financièrement), veuf et vivant officieusement avec une femme ( pas concubin déclaré, pas pacsé, pas marié)
a accepté de m'héberger à titre gracieux dans sa résidence secondaire qu'il n'a jamais louée, qu'il n'habite pas.

Je paie néanmoins mes factures EDF, eau et téléphone, tout ceci a fait l'objet de contrats à mon nom établis avec ces organismes fournisseurs, cela, à la demande de mon père.

A l'époque celui-ci m'a fait signé un document qu'il a déposé chez son notaire faisant état de cet hébergement gracieux, motivé (dixit document) par son devoir d'assistance et d'obligation légale en tant qu'ascendant direct.

En juillet 2014, je me suis marié avec une femme également au RSA, Nous sommes donc allocataires RSA couple désormais.

Je n'ai pas de bons rapports avec la femme avec qui vit mon père, aussi celui prend comme prétexte mon mariage et me demande de quitter les lieux, arguant du fait que mon épouse a des enfants dont certains travaillent et donc que son obligation d'hébergement est caduque.
Ma question est la suivante : en a-t-il le droit ?

merci de votre réponse.