Propriétaire et co-empruntrice crédit immobilier séparation

Bonjour,
Je viens vers vous pour m'éclairer un peu plus sur ma situation, car j'entends autour de moi des réponses totalement opposées. Je suis l'unique propriétaire d'une maison achetée il y a 20 ans (acte notarial). Vivant en union libre avec mon conjoint depuis 25 ans avec 2 enfants, nous avons souscrit en avril 2014 à un prêt immobilier pour les rénovations de la maison. Le prêt était de 36000€ et mon concubin (emprunteur) remboursait 146€/mois. D'un commun accord, je payait les autres charges du foyer (edf, saur, impôts, assurances, courses, écoles et habillement des enfants...). Étant maçon de profession, les travaux ont été effectués par mon conjoint (travaux non finis, priorité à la rénovation d'un garage pour son matériel plutôt qu'à la maison d'habitation principale). Mon concubin étant devenu alcoolique à l'heure actuelle et ne payant plus ses prêts (maison, camion, perso..). En attente d'une séparation, car il refuse de partir, j'ai demandé à la banque à ce que le prélèvement du crédit maison soit effectué sur mon compte.
A ce jour, il me réclame la moitié de la valeur de la maison avec son plus value. Sachant que la plus grande valeur de la maison étant son emplacement (isolée, plein sud, très grand jardin arboré et entretenu par mes soins, achat de ma part d'un mobilhomme dans le jardin pour faciliter les travaux.. Mais jamais utilisé puisque non réalisés). Seul 2 chambres pour mes enfants ont été faites suite à l'intervention d'une assistante sociale (causé par l'alcoolisme de mon concubin).
Du parquet acheté pour la pièce principale il y a 5 ans est entassé dans le garage, nous vivons sur la chape de ciment depuis 20 ans. Bref, ma question est donc de savoir s'il est en droit de me réclamer de l'argent sachant qu'au final mes dépenses mensuelles pour l'entretien de la famille étaient bien supérieures à 146€/mois (ça paye même pas la facture d'électricité..)?
Merci d'avance de me répondre. Je précise que cette situation est plus que tendue, il casse les portes de la maison, à commencer à démonter la toiture du garage parce qu'il dit que c'est à lui..