Annuler usufruit

Bonjour,
Après l'héritage de ma mère j'ai acheté un appartement en mon nom et j'ai demandé au notaire de nommer mes 2 filles comme bénéficiaires.
Je ne voulais pas que mon mari ait un droit sur ce bien , pourtant le notaire a inscrit sur l'acte qu'il en avait l'usufruit.
Le notaire à fait signer cette clause à mon mari.
Je ne veux pas que mon mari profite de cet appartement après mon décès, mais uniquement mes filles dès mon décès.
Puis-je annuler cet usufruit que possède mon mari , sans qu'il en soit informé.
Je précise que nous avions fait une donation au dernier vivant.
Mais là il s'agit des biens de ma mère.
Merci pour votre éclairage.
Cordialement.