Habiter dans un bien indivis

Bonjour,
Mon nouveau compagnon vit dans une maison en indivision avec son ex compagne. Elle vit aussi dans une partie de cette habitation avec leur fils.
Je vais régulièrement chez mon copain /moitié temps chez lui moitié temps chez moi/. Son ex fait des histoires car selon elle, je n'ai pas à séjourner ici sans son accord. Lui m'a donné son accord et m'a confié les clés afin que je puisse rentrer lorsqu'il n'y a personne. Je continue donc de venir. Je fais en sorte de ne pas deranger même s'il est vrai que je me gare dans leur cours en face de ses fenêtres. Je ne vois pas en quoi je dérange surtout que pendant la semaine elle n'est pas là de la journée vu qu'elle travaille. Quels sont mes droits dans cette situation. Puis-je espérer continuer à venir chez mon copain sans qu'elle se me fasse des histoires.
Merci