La présence du propriétaire en vue d'une relocation non tolérer

Bonjour, je me permet de vous écrire pour avoir un renseignement concernant les visites du logement que j'occupe. En effet mon propriétaire et moi meme somme en conflits suite à des travaux ( sinistre dégâts des eaux ) non constater par un professionnel et non réparer.j'ai donc demander la résiliation du bail. Il souhaite entrer lors des visit. Je ne suis pas contre les visites mais ne souhaite pas sa présence dans mon logement suis-je dans mon bon droit ou pas ? Merci de votre réponse. Cordialement Melle L