Séparation et adultère, qu'en est-il du domicile conjugale?

Bonjour,

Mon mari et moi avions décidés de nous séparer en vu d'une demande de divorce de ma part. Ne pouvant payer un loyer chacun nous avons décidé de préparer rapidement notre maison à la vente, pouvant récupérer notre part chacun du capital.
Pour ce faire, nous avons été chacun relogé chez des amis, et moi-même avec mes deux enfants majeurs mais toujours domiciliés chez nous.
Cette situation date de fin octobre 2012.

Il se trouve que je viens d'apprendre que monsieur a déjà entamé une nouvelle relation, qu'il a présenté cette femme à un certains nombre d'amis, sans que lui-même ne m'ait informée de son existence. Est-ce de l'adultère?
De plus cette nouvelle situation génèrent à présent des conflits et des tensions avec la personne qui nous loge mes enfants et moi. Je ne peux plus y rester.
Je voudrais donc réintégrer ma maison, car je ne peux payer un loyer étant sans revenus. C'est ma maison, je sais que j'ai le droit d'y habiter, mais je voudrais être sûr qu'il ne pénètre pas mon domicile. Que puis-je faire?