Changement lieu de travail non précisé dans le contrat

Bonjour,
Je travail pour 2 sociétés (ce sont des hôtels, ces 2 sociétés distinctes appartiennent et sont gérées par la même personne), j'ai donc 2 CDI en mi-temps, je suis embauché en tant que responsable technique (je fait des réparations, de la peinture, de l'entretien...), jusque là tout va bien. Mais mon employeur me fait faire des travaux dans sa propre maison sur mes heures de travail, a-t-il le droit de me faire travailler chez lui? En sachant qu'il n'y a pas eu d'accord écrit. Est ce considéré comme une simple modification de l'application des conditions de travail? Suis-je couvert lorsque je travaille à son domicile (qui n'est doc pas à la même adresse que les sociétés qui m'embauchent) ?
Merci d'avance pour votre réponse.
Cordialement