Vivre dans son garage 2 mois d’été

Bonjour
Mon grand père avait construit il y a 47 ans dans notre propriété un garage fermé de 50m2 sans permis de construire.
À ce jour j’entrepose des transats, table de ping-pong, frigo, canapé etc...
Il y a 13 ans, j’ai mis en face de ce garage une piscine hors sol.
J’envisage de faire des toilettes et douche en palissades d’environ 4m2 sans toucher ce garage.
Ai-je le droit de vivre dans ce garage 2 mois l’été avec mes enfants ?
Merci de votre réponse.