Valeur de l'usufruit en cas de décès

Bonjour
avec mon compagnon nous sommes pacsés depuis 2 ans et nous avons fais un testament en laissant l'usufruit a chacun de la maison que nous avons en commun 50/50. Nous avons 3 enfants chacun issus d'une précédente union. Mon compagnon possède en liquidité la valeur du montant de sa part de maison. Mon compagnon est atteint d' un cancer et nous nous posons la question de savoir ce qui se passera s'il décède. Le notaire nous dit que je pourrais rester dans la maison mais que je devrais donner à ses enfants la valeur de l'usufruit sur sa part. Pouvez vous me confirmer ?