Refus par le propriétaire d'installer une sarl au domicile

Bonjour,

Je suis gérante de notre futur sarl avec mon mari, notre activité prévu est la préparation de plats cuisiné que nous allons livré (pour le soir) et un food truck (pour le midi).
Nous avons demander au propriétaire de notre maison l'autorisation de s'installer à notre domicile et de faire un petit labo pour la préparation des plats, notre propriétaire nous a donné son accord verbal et nous avons donc commencé les travaux, le propriétaire est d'ailleurs passé voir l'état d'avancement des travaux car il voulait le labo amovible.
Une fois terminé, j'avais besoin pour l'immatriculation de la société d'un écrit pour l'autorisation avec une copie de la taxe foncière.
Et depuis je ne sais pas ce qui c'est passé, mais il ne veut plus que l'on s'installe car il a peur que le bail soit transformé et qu'il paye des charges supplémentaire.
Je ne sais plus quoi faire car on a investie pas mal d'argent et fait de nombreuses démarches pour aujourd'hui le voir nous dire qu'il nous demande impérativement de renoncer à votre projet (ce sont ses mots).
Pouvez-vous me donner un conseil car j'en ai bien besoin.
Merci par avance.