Mon propriétaire a t il le droit d 'exiger les clés ?

Bonjour à toutes et tous,

La situtation:
Locataire de murs commerciaux ou j'ai mon commerce saisonnier d'installer. J'ai un bail commerciale ordinaire 3/6/9 et non saisonnier.
Ce bail a ceci de notifié:
Concernant les visites en cas de vente vous devez les accueillir tous les jours de la semaine sauf week end et jours féries de 09à12h et 13h à 17h.

Le soucis:
Mon propriétaire a mis en vente ses murs, il fait visite sur visite pour le moment je réponds présent comme étant sur place. Mais d'ici quelques jours je pars pour exercé un autre travail saisonnier à des kilomètre de commerce que j'ai fermé il y à jours comme il est saisonnier je suis fermé en période hivernale.
De ce fait mon propriétaire exige que je lui remette les clés du commerce pour satisfaire ses visites.

Questions
Est-il en droit d'exiger les clés ?
A-t-il le droit d'abuser de son droit de visite?
Concernant mes assurance suis je couvert en cas de vol si il les clés durant l'hivers ?

Je suis complètement dans l'impasse et le propriétaire n y mets pas du sien alors si vous avez des solutions ou me donner des conseils je suis preneur.
Merci à vous
Cordialement