Location sans bail ecrit mais accord verbal

Bonjour,
En vue d' une séparation, mon ex et moi avions passés un accord verbal :
Elle disposait d'un appartement vide qu'elle venait d'acheter quelques mois auparavant, elle souhaitait y faire faire des travaux, quand à moi je devais chercher un logement, l' appartement étant tout près de l'école de notre fils, nous avions convenu que j'emménagerai cet appartement aux conditions suivantes :
J' y réalisais la totalité des travaux à faire en échange elle me le louait à un faible montant de loyers, j' ai effectué la totalité des travaux et même plus que prévu puisque elle a modifié ses souhaits en cours, j' ai même payé des matériaux de ma poche.
Une fois les travaux réalisés, j'ai emménagé comme prévu.
Une semaine après en rentrant chez moi, je là surprend dans l'appartement en compagnie d'un huissier qui fouille dans ma cuisine.
Le lendemain cet huissier reviendra me remettre une sommation de quitter les lieux, au motif que j' occupe cet appartement sans bail écrit.
Comment justifier mes droits ?
Merci