Location de ma maison après la vente

Bonjour,
Le nouveau propriétaire de ma maison en prend possession le 10 juin et nous avons une entente afin que je puisses rester comme locataire jusqu'au 19 juin moyennant un montant forfaitaire que nous avons accepté tous les 2.
Le nouveau propriétaire me demande de venir faire des travaux sur la maison durant que je vais y être comme locataire. Je refuse, je veux garder mon intimité et vivre le deuil de ma petite maison seule sans avoir à entendre les travaux et tout ce qui vient avec.
Il est frustré et me dit que de toute façon lorsque nous passerons chez le notaire je vais devoir lui remettre une clé et qu'en tant que propriétaire il aura le droit de venir comme bon lui semble.
Est-ce que je suis protégée? Vais-je devoir le laisser venir malgré le fait que je refuse en tant que locataire?