Demande rupture CDD commun accord->employeur pousse à la faute..

Bonjour,
pour commencer je dois vous faire savoir que je suis en Nouvelle Calédonie. Je sais que le droit du travail diffère un petit peu de la métropole mais je pense que pour ma demande vos conseils me serviront aussi ici.

Voila pour établir le contexte, je suis en CDD d'une durée de 5 mois et demi que j'ai débuté le 14 décembre. La fin est prévue le 31 Mai. Nous sommes venu avec ma compagne de métropole en pensant initialement rester 6 mois ici avant de rentrer. Seulement depuis déjà quasiment 2 mois ma compagne (et moi pour le coup) ne se sent pas bien ici car elle ne parvient pas à trouver de travail à la hauteur de ses qualifications. Elle émet donc le souhait de partir plus tôt car elle a trouvée un emploi en métropole. J'ai tout fait pour la faire patienter afin de respecter mes engagements au près de mon employeur mais la semaine dernière ça a vraiment été la crise et nous avons donc pris la décision de rentrer.

Le lendemain je suis allé voir mon employeur afin de lui faire connaitre mon envie de rompre mon contrat avec anticipation afin de savoir si il était prêt à me laisser partir. Sur le coup, et je peux le comprendre, il a été un peu désemparer car tout se passait bien entre nous. Il m'a dit qu'il allait y réfléchir et c'est 2 jours plus tard qu'il me fait savoir qu'il est d'accord et qu'il comprend. Il me demande de lui fournir plusieurs pièces:

-La facture de mon billet d'avion
-Justificatif de domicile en France et à Nouméa
-Un R.I.B en France en prétextant que ce serait pour solder mon compte.

Je rentre chez moi plutôt satisfait de sa réponse positive puis je commence à me poser des questions concernant ces pièces demandées. Quand j'en parle autours de moi on me conseil de me méfier car ce genre de pièces pourraient constituer des preuves d'un abandon de poste volontaire.
Je retourne voir mon patron en lui demandant que l'on signe en premier lieu la lettre de rupture de contrat d'un commun accord (avec un modèle que j'ai trouvé sur ce forum) avant que je prenne nos billets. Là, sa réaction (stressée) commençait à confirmer mes doutes. Il me dit qu'il ne veut pas signer un papier n'importe comment et qu'il va en parler à son avocate. Soit.

Quatre jours passent pendant lesquels il me dit qu'il n'a pas réussi à la joindre.
Aujourd'hui je passe dans son bureau en étant un peu stressé car il m'a fait savoir qu'il avait vu son avocate. Je prépare alors mon application dictaphone sur mon téléphone afin d'enregistrer notre entrevue.
Il commence la discussion en disant que son avocate lui conseil de me demander de lui envoyer une lettre disant que je souhaite rompre le contrat en LRAC. Je lui répond que je ne peux pas car ça pourrait être utilisé comme une lettre de démission et c'est bien d'un commun accord que je souhaite discuter.
Là, comme je le craignais, il revient complétement sur sa décision prise la semaine d'avant et me dit qu'il ne veut pas me laisser partir car ça le mettrai dans une galère. Je l'entend bien et lui demande alors pourquoi il ne me l'a pas dit directement ce qui aurait clos la discussion tout de suite et qu'au lieu de ça il m'a fait croire que pour rompre notre contrat il lui fallait des preuves de mon départ (facture de mon billet d'avion). Il perd ses mots en prétextant des choses absurdes et je lui fais alors part de mes doutes concernant sa volonté de me pousser à la faute grave en lui en fournissant les preuves. Par trois fois je lui ai poser cette question et une fois il a fini par acquiescer à moitié.

Je termine la discussion en lui disant que c'est dommage d'avoir tenté de me pousser à la faute (pas de réaction) et qu'une simple explication des embêtements que mon départ provoquerai chez lui aurait suffit. Je pars en lui demandant à quelle heure je dois être au travail le lendemain et en lui signifiant que j'ai enregistré la conversation et que j'allais me renseigner aussi de mon coté de ce que ce genre d'action pouvait entrainer, à savoir un employeur poussant son employé à la faute grave.
L'idée d'enregistrer la conversation vient de moi, je regarde peut être trop de film mais ça m'a paru être une bonne idée d'avoir une preuve de ce qui allait se dire sans vraiment savoir si ça allait pouvoir être utilisé par la suite.

A votre avis que puis-je faire?

Voila, désolé pour le pavé. La synthèse n'a jamais été mon fort mais il me paraissait important que vous ayez tous les éléments pour que vous puissiez me conseiller au mieux.

Merci d'avance pour vos réponses et bonne journée.