Son amant vit chez nous

Bonjour, je suis séparé depuis 3 ans et en instance de divorce. Je suis marié sous le régime de la communauté et nous sommes propriétaires ma future ex femme et moi d une maison qui est actuellement en vente. Depuis 2 ans, son amant est venu vivre avec elle dans cette maison.C est moi qui paye tout. Remboursement de crédit, impôts, charges etc.. Elle n a pas de revenus mais son amant oui. Ai je le droit de demander un loyer à cet homme qui vit chez moi sans mon accord ? Je ne sais plus comment faire...