Expulsion d'un logement locatif ( hébergement à titre gracieux)

Bonjour,
J'occupe depuis le 1er octobre 2014, à titre gracieux et avec l'accord écrit d'un locataire à Asnières sur Seine.
Ce logement est un bail de location au nom de ce monsieur. qui, pour cause de concubinage, n'habite plus ce petit studio depuis de nombreux mois.
A mon arrivée sur les lieux, l'état d'insalubrité de ce logement était très important;
- papiers peints aux murs et au plafond décollés, noircis de suie, sales et souvent déchirés.
- peintures noircies par la saleté, la fumée et le manque évident d'entretien.
- salle d'eau (pourtant récemment refaite par les propriétaires) laissant apparaître des traces importantes de moisissures aux murs, au sol, dans la douche et des traces considérables de saletés et de matières fécales dans les toilettes.
- ce petit logement grouillait de cafards morts ou vivants, avec l'existence de nombreux nids, le plus souvent localisés dans un canapé de la chambre, dans la gazière et dans le placard de la cuisine.

Ne pouvant vivre dans un lieu rendu aussi délabré, il a été convenu avec ce monsieur , de l'engagement à mes frais, des travaux nécessaires permettant de rendre salubre cet endroit qui ne l'était plus depuis fort longtemps. (et ce qui a rassuré les deux vieilles personnes propriétaires très inquiètes auparavant).
Ainsi, tous ces travaux nécessaires, permettant de réparer les importants dommages cités ci dessus, ont été effectués. des témoignages écrits et signés viennent attestés ces faits.
Les travaux nécessaires, ont été effectués à hauteur de 2500 euros environ, sur la période du 20 septembre au 10 novembre 2015.

Une semaine, seulement, après que cet appartement soit enfin habitable, en fin novembre 2015 ; ce monsieur a exigé, en état d'ébriété et en des termes très familiers, que je lui de rendre immédiatement l'appartement, dans lequel il était pourtant convenu que je réside au moins jusqu'en fin du deuxième trimestre 2015.
suis-je dans mon droit? deux avocats conseil (deux avis) m'ont bien spécifiés que seule une décision de justice pouvait me faire quitter les lieux? j'aurais besoin d'avis confirmants ou infirmant les dires de ces avocats. En l'attente de votre réponse...