Vendre ma part de la maison à mon ex

Divorcés depuis 2008(et séparés de corps depuis 2004), mon ex habite à la maison que nous avons acheté en 2003(une maison à deux étages, en vrai ce sont deux maison indépendantes). L'emprunte est à son nom(je ne travaillais pas à l'époque, je gardais les enfants) et c'est lui qui paye mais en étant mariés nous avons accordé que mon apport serait le loyer de l'appartement qui se trouve à l'étage. L'accord n'a jamais été fait par écrit(je ne suis pas française et à l'époque il s'est bien gardé pour que je ne puisse pas accéder à aucun papier), donc, je n'ai pas de preuves formelle. Depuis que je lui ai fait la remarque que mon apport passé par là, il a arrêté de louer cet appart sans me consulter. Aujourd'hui il prêtant que je n'ai rien apporté et que je dois lui donner ma part(un tierce) sans aucune compensation.
Comment faire pour prouver sa mauvaise fois? Nous avons deux enfants aujourd'hui en garde alternée. Merci de bien vouloir me donner des pistes...