Pacte d'indivision

Bonjour,
Mon ex conjoint et moi avons sur e un pacte l'indivision en décembre 2017. C'est moi qui occupe la maison et nous payons chacun la moitié du crédit. Depuis quelques mois j'ai rencontré quelqu'un qui vient 2 à 3 fois par semaine dormir à la maison. Mon ex conjoint me réclame un droit d'occupation. En a-t-il le droit ?
Je pensais que C'était le cas uniquement en cas de remariage ou concubinage.

Merci d'avance pour votre réponse.