Mon patron veut que je lui rende mes indemnités

Bonjour, en juin jai demander une rupture conventionnelle pour monter ma boite . au départ mon patron ne voulait pas et jlui ai dit qu'il fallait que je sois inscrite a pole emploi avec chomage car jai 2 enfants.
il a fini par me dire oui mais a une condition que jui rende lindemnité un mois après que je ne sois plus dans son entreprise moi jai dit ok pour qu'il fasse la rupture mais je n'est rien comme papier ou signer de reconnaissance de dettes et pour finir , il me devait 3 semaines de congès qu'il ne m'a pas payer, sauf que depuis un mois il me "harcele" de sms, appels, en me disant que je ne suis pas quelqu'un d'honnete qu'il a le bras long etc..

Donc je voudrais savoir si je suis bien dans mon droit de ne pas lui rendre l'indemnité, et qu'est ce que je peux faire ou dire pour qu'il arrete , qu'il comprenne que s'il continue et il peut avoir des soucis

Aidez moi svp merci