Achat maison avec apport + compensation travaux

Bonjour,

Mon compagnon et moi-même allons acheter une grange à rénover, à savoir que j'emprunte 80000€ et apporte 50000€ d'apport. Mon compagnon ne peut, pour le moment, rien emprunter, mais m'aidera à rembourser le crédit.
Il va également gérer 3/4 des travaux de rénovation afin de nous faire économiser un maximum d'argent.
Le pb étant, que s'ils ont vient à se séparer, je ne veux pas qu'il ne reparte sans rien, car il aura grandement contribué à la réalisation de ce projet.
Nous sommes pacsés.

Comment faire ?
Merci par avance pour vos réponses...