Employeur veut me voir partir, puis annule sa demande

Bonjour,

Je suis depuis 2 ans dans une entreprise. Mon employeur d'un seul coup m'a dit qu'il ne voulait plus collaborer avec moi car je ne correspondait pas aux valeurs de l'entreprise (Je ne vais pas aux soirées et j'ai demandé l'année dernière si on aurait des avantages salariales un jour ce qu'il avait mal pris). Ils n'ont rien contre moi car je fais mon travail et je m'entends avec mes collègues. Il m'a proposé une rupture conventionnelle que j'ai essayé de négocier. Comme j'ai essayé de négocier, il a retiré sa proposition et m'a dit que j'ai intérêt à être irréprochable dans mon travail... 

J'ai peur qu'il m'en fasse baver après ça. Comment s'en sortir ? 

Je suis en total télétravail et j'ai peur qu'il me demande de revenir car je n'ai rien signé pour ça. On est plusieurs à avoir ce régime mais tout est oral. Et je n'habite pas à côté, je ne peux pas y aller tous les jours.

Merci,