Mon chef a t'il le droit de me "toucher" en prétextant l'humour?

Bonjour,
je suis dans une situation un peu compliquée. Je suis arrivée il y a peu dans une nouvelle entreprise. Je suis seule, loin de ma famille et mes amis. Mes nouveaux collègues (dont mon responsable) faisait beaucoup d'humour à caractère sexuel. J'ai souvent plaisanté avec eux ne voyant aucun mal à ça.
Cependant les blagues quelques fois un peu lourdes se sont transformés de la part de mon responsable en remarques sur mon physique et même en gestes un peu déplacés (degraffage de soutien gorge sur le ton de l'humour, me porter). J'ai dit une fois un peu timidement (ayant peur de la réaction de mon chef) que je n'aimais pas ça. Mon chef étant amusé que je lui dise d'arrêter de me dire 'tu es belle' parce que je n'aimais pas qu'on me dise ça car ça me met mal à l'aise à enchaîner avec des 't'es bonne, ton jean te va bien, tu as pris des seins'.
Une rumeur sur nous deux en couple s'est alors créé. Je l'ai confronté en apprenant qu'il en jouait et prenait plaisir à la propager au lieu de la faire taire, et je lui ai demandé de cesser tout comportement ambigu. Mon responsable s'est vexé et m'a petit à petit enlever les tâches que j'effectuais quotidiennement.
Quand je l'ai confronté une deuxième fois il m'a dit que je me faisais des films et m'a sorti un tas d'excuses pour se justifier.
J'ai donc interpellé mes responsables supérieurs. Mais je suis prise au piège parce qu'au début je rigolais avec lui. Et lui cherche à se défendre comme ça vu qu'il a des messages de moi au début où c'était encore pour moi Bénin.
Je ne sais pas comment procéder.
Même si j'ai rigolé avec lui au début, je lui ai demandé une fois d'arrêter et il a continuer avec des remarques sexistes.
Je sais qu'il est compliqué de faire la part des choses pour eux entre le moment où j'ai rigolé et les moments où les remarques ont été malsaines.
Avait-il le droit d'aller jusque là même si au début je rigolais aussi? Parce qu'en gros ils prennent ça pour du flirt venant de ma part au début.

Merci de votre aide