Une location sans bail...

Bonjour, je vous présente rapidement la situation; Il y 5 ans je devais acheter une maison; J'avais mon entreprise et tout allait bien.
J'avais obtenu de la part du propriétaire de pouvoir emménager (vu que j'avais vendu mon logement plus rapidement que prévu) pendant que les procédures d'achat se faisaient. Aucun bail n'avait été fait puisque la procédure d’achat était en cours, un simple arrangement verbal sur un loyer a été fait.
Mais, hélas, suite à plusieurs impayés consécutifs, mon entreprise en placée en redressement judiciaire qui se transformera en liquidation.
Cependant, je suis toujours "locataire" dans cette maison. J'y fait de nombreux travaux pour rendre cette maison habitable (car elle était dans un très mauvais état) pensant que je pourrais me retourner rapidement et retrouver une bonne santé financière.
Cela n'a pas été le cas....loin de là.
La situation actuelle est la suivante; Après des petits boulots et autre missions d’intérim j'ai payé le loyer quand je pouvais, donc je suis en arriéré de loyer pour plus de 23000€!
Mais j'ai fait plus de 40000€ de travaux nécessaires pour rendre cette maison salubre (nouvelle installation électrique, plomberie et évacuation.....)
Le propriétaire me menace maintenant d'expulsion...
Je n'ai toujours pas de bail, et je ne sais comment me défendre ou comment trouver une solution à l'amiable.
Je voudrais aussi rappeler que je n'ai que de très rares contacts avec le propriétaire (moins de 2 fois par an) pour des rappels quant aux arriérés de loyer.
D'avance merci pour votre aide.