Ex compagnon qui ne résilie pas le bail et qui arrête de payer

Bonjour,
J'ai pris un appartement (loyer de 790€) avec mon ex compagnon mi mars 2020. Ce dernier a vite changé de comportement et a rapidement tout fait pour me faire vivre un enfer (comportement agressif sans en arriver aux mains, menaces de mettre mes affaires dehors, de ne plus me laisser rentrer dans l'appartement, a mis mes chats d'intérieur dehors et en a enfermé une dans un placard, me souhaiter la mort etc).
Il a fini par me quitter en mai, j'ai mis du temps à accepter la situation et j'ai trouvé un autre logement en août (où j'ai de suite emménagé).

En fouillant ses papiers, il s'avère que c'est quelqu'un qui est poursuivi par les huissiers depuis 2017. En juillet 2020 il recevait encore des relances d'huissiers.
Mon préavis se finit début novembre 2020, une clause de solidarité est sur le bail ce qui fait que je suis solidaire du loyer jusqu'en mai 2021.

Il ne veut pas donner son préavis (l'agence m'as dis que si les deux locataires donnent leurs préavis et si l'appartement est vidé et propre et qu'ils trouvaient d'autres locataires, le préavis pourrait être écourté), et a encore ses affaires et ses meubles dans l'appartement.
Il m'as bloqué de partout, il me réclame 800e (qu'il récupérait grâce à la caution qu'il a payée), et me demande de faire le ménage dans l'appartement.

Il n'as pas payé sa part du loyer en août et m'as clairement dit qu'il n'allait pas payer et qu'il faudra que j'assume les huissiers par la suite, étant en CDI et pas lui.
J'ai compris son mode de fonctionnement, il signe un CDI, dépense tout (consoles, vêtements etc) ou il retire l'argent en liquide.

Il n'est plus en CDI (donc plus de salaire) depuis juin de cette année, mais fais quelques missions, il a fait un prêt de 1000e à la banque pour tout dépenser au mois de juillet.

Donc ma question est, comment me protéger?
J'ai un loyer de 480€ pour mon nouveau logement, je ne peux pas payer ma part du loyer de l'ancien logement entièrement, mais l'agence m'as dit qu'il valait mieux que je payais au moins un petit peu que rien du tout (et eux sont assez conciliant avec moi, en me disant qu'ils connaissent bien ce genre de personnes, qu'ils ont vus que j'avais payé ma part du loyer en août et pas lui, et ils ont essayé de le contacter à maintes reprises en l’appelant et en lui envoyant des mails mais toujours sans réponses).
J'ai déposé main courante contre lui quand il a mis mes chats dehors et qu'il me menacait de ne plus me laisser rentrer et de mettre mes affaires dehors.
Je précise qu'il ne vit plus dans le logement depuis juillet, qu'il venait une ou deux fois par semaines pour prendre des affaires et passer une nuit ou deux dans ce logement, et qu'il n'y a plus du tout dormi depuis mi juillet. Il est actuellement logé chez une amie et sa nouvelle compagne.