Non-restitution de la clé de mon appartement

Bonjour, voilà mon cas: mon père a un double de la clé de mon appartement que je loue duquel la propriétaire est décédée. il ne veut pas me rendre la clé sous prétexte qu'il a été désigné comme representant légal par la propriétaire...alors que déjà un propriétaire n'a pas le droit d'avoir une clé d'un appartement qu'il loue. quelle est la mesure légale afin que je récupère ma clé? devrais-je changer ma serrure (il peut faire un double...)? merci d'avance de me répondre.