Refus de partir en déplacement forcé

Bonjour,
je suis menuisier je travail dans mon entreprise depuis 9 ans! je pars en déplacement tout les jours mais je rentre chez moi le soir. Mais mon employeur a décroché un gros chantier a 120 kms de chez moi et il veut que je parte a la semaine; seulement je lui ai expliqué que j'avais 2 enfants en bas age et qu'il y avait des collègues qui eux on des grands enfants ou qui sont même tout seul! Mais mon patron ne veux rien savoir il veut absolument que ce soit moi qui y aille et ça en devient du harcèlement! Ais je le droit de refuser? Et comment puis je faire? Merci de vos réponse