Soucis avec mon proprietaire

Bonjour,
J'étais en location depuis 4ans avec mon compagnon , le contrat de location est a mon nom .
Chaque année nous nous absentons pour 4 mois travailler .
Nous nous sommes séparer, il est partis cette année et j ai un nouveau compagnon qui va s'installer avec moi .
seulement , mon propriétaire n 'est pas d'accord et ne veut pas que mon compagnon reste a l'appartement le temps de mon absence , car pour des raisons professionnelle je dois m'absenter 4 mois .
At'il le droit de refuser que j'ai une vie avec qui je veut .
je lui en avait parler mais il a préférer m'envoyer une lettre recommander en soulignant le contrat de location qu'il m'étais interdit de sous louer, se n'est pas le cas , de prêter même temporairement l'appart , en gros faudrait que je mette mon compagnon dehors cette hiver..que dois je faire pour être dans la légalité ? Je trouve ca fou comme attitude , alors que jamais je n'ai causer d'embêtement , j ai toujours payer mon loyer ........voila il menace de mettre fin a mon contrat si je respecte pas ce qu'il veut ...je ne veut pas rentrer en conflit avec lui , il est très spéciale...merci de me donner des conseilles .