Abus des usufruitiers?

Bonsoir,
Pour résumer la situation :
Je vis avec mon fiancé dans sa maison (ses parents lui ont fait don de la nue propriété et vivent dans une autre maison à eux).
Toutes ses histoires me passaient au dessus de la tête jusqu'au jour où je demande au beau père de frapper avant d'entrer et qu'il s'énerve en me disant qu'il avait l'usufruit donc qu'il pouvait rentrer comme il voulait.
Après des recherches sur ce mot jusqu'alors inconnu je comprends qu'il a raison. Mais le problème c'est que tout les ans, il rapplique avec la taxe foncière, et mon fiancé la paye sans broncher. Alors dans ce cas, qu'est-ce qui se passe? C'est possible de faire ça ? Et de rester usufruitier malgré tout?
De plus nous allons entamer des travaux dans la maison mais si c'est pour que les beaux parents pensent qu'ils peuvent entrer comme ils veulent et profiter de la maison rénovée à leur guise, ça me refroidi... Ils ont un pouvoir sur la maison sans les inconvénients qu'un usufruitier devrait avoir.
Donc je cherche une réponse, une idée, une loi, n'importe quoi qui pourrait m'aiguiller.
Merci beaucoup !