Reprise du bien loue par le propriétaire

Bonjour, je loue depuis Janvier 2012 et mon propriétaire m'a fait signer 3 baux . début février il s'est présenté a mon domicile et m'a présenté un quatrième bail de 3 ans avec une suggestion d'augmentation selon sa volonté. Je lui est répondu que je ne signerai pas ce quatrième bail puisque cela se reconduit tacitement et lui est suggérer de suivre le cours de l'IRL pour l'augmentation du loyer. Il s'est mis en colère et m'a fait savoir qu'il me ferai partir du lieux parce qu'il viendra y habiter. Hors il occupe une villa et possède d'autres biens immobiliers. Je considère ça démarche comme une intimidation et une menace. Quel est mon recours?