Comment récupérer une somme d'argent ?

Bonjour,
J'habite actuellement avec mon "concubin" depuis plus de 4 ans dans sa maison. J'ai 2 enfants d'une première union et un autre avec mon concubin actuel.
J'ai quitté ma maison dont j'étais propriétaire pour venir vivre avec le père de mon petit dernier. Celui-ci est propriétaire de sa maison dans laquelle j'ai investi une somme d'argent pour une extension que nous avons effectué.
Il me demande de partir de sa maison, comment puis-je faire pour récupérer l'argent investit dans sa maison ? (A noter qu'il m'a signé une reconnaissance de dettes pour la valeur investie pour les travaux d'extension).
Merci de votre aide.