Travail au noir sans papier : mise en demeure

Bonjour,
voila, cela fait quelques années (4 pour être précis) que j'ai acquis un lotissement avec une dizaine de logements. J'étais en contact avec un homme qui travaillait bien mais qui n'avait pas de papier. J'ai entrepris le rafraîchissement des logements, mon gendre m'a fait l'électricité, j'ai embauché une société pour la plomberie, mais pour la peinture j'ai fait moi même en prenant ce monsieur sans papier. Durant les travaux qui ont duré deux mois, il dormait sur place et je le payais à la journée car parfois il ne venait pas au travail sans prévenir. A la fin des travaux, nous sommes resté en contact et ponctuellement lorsqu'un locataire quittait le logement je faisais appel a lui pour remettre un coup de peinture afin que le logement soit comme neuf. Vu que nous avions de bonne relation, je lui ai proposer de l'accompagner pour les démarches afin qu'il ait les papiers il a refusé m'indiquant qu'il avait un mariage en vu qui lui permettrait d'obtenir les papiers. Ceci étant je lui ai proposé d'occuper un petit logement, que je n'avais pas finis d'aménager mais qui je savais pouvait le dépanner car il menait une vie de bohème. En échange lorsqu'un locataire partait il remettait un coup de peinture dans l'appartement (F2), une moyenne d'un appartement tous les 2 ou 3 mois, et encore a 3 reprises j'ai du passer par des entreprises car il était en "vadrouille".Connaissant sa situation je lui ai demandé de ne pas se lier avec des locataires, son statut de sans papier pouvait nous créer des problèmes à lui comme a moi.

Il y a peu ma fille avait son séjour à rafraîchir, je passe le téléphone de ce monsieur a mon gendre pour qu'il vois cela ensemble. Ils se sont mis d'accord sur un prix et fixe une date. Ce jour là il débarque chez ma fille avec un locataire du lotissement! Je lui ai rappelé la seule exigence que j'avais vis a vis de lui, et je lui ai dit de repartir et que c'était fini, il avait trahi ma confiance donc on arrêtait tout. Je lui ai demandé de débarrasser son logement pour la fin de la semaine, suite a quoi je suis passer changer la serrure.

Ce lundi je reçois un courrier de son avocat qui m'indique que je l'emploie depuis 6 ans(sic) que je ne lui ai jamais versé ses salaires alors qu'il travaillait au moins 39 heures par semaine, et que je lui louais un logement sans lui avoir fait de bail! (alors que je le rappelle il ne payais rien)
En conséquence il demande 5 ans de salaire sur une base d'un temps plein au SMIC avec les congés payés ainsi qu'un bail pour occuper le logement! Logement qui je précise il n'a jamais payé et des salaires je les lui ai toujours versé! Mais bien entendu sur ces deux point c'est parole contre parole, et il aura bien sur des témoignages des locataires qui diront qu'il était là et que oui ils l'ont parfois vu travailler (après ils ne vont pas préciser les horaires ni les jours).

Lui faire un bail cela n'etait pas possible car il n'a pas de papier, pas de garant. Pour les salaires oui je le payais au black, en liquide : il n'a pas de compte bancaire car pas de papier... Moi je voyais cela comme un troc : logement contre service

Bref, je suis sidéré de sa réaction et surtout de la mauvaise foi de sa demande 5 ans de salaire temps plein! Comment puis je faire pour m'en sortir au mieux? je connais de gens chez qui il a travaillé durant la période où il occupait mon logement mais les gens ne témoigneront pas pour dire qu'ils ont employé un sans papier...

Merci par avance pour vos conseils