Donation/Usufruit et travaux

Bonjour,
Voici notre situation, j'espère que l'un d'entre vous aura une réponse pour nous.
Mon conjoint est nu-propriétaire avec son frère (50/50) de la maison familiale pour laquelle leurs parents sont usufruitiers. Une donation a été faire aux frères par les parents, sans division parcellaire car le bien (corps de ferme), est indivisible en l'état.
Avec l'accord de son frère et de ses parents, mon conjoint et moi-même qui ne sommes ni mariés, ni pacsés, souhaitons faire des travaux sur une partie de l'habitation pour en faire notre résidence principale.
La banque (Crédit Agricole) après nous avoir donné son accord fait marche arrière (au changement de conseiller) pour nous valider le crédit. En effet nous remplissons toutes les garanties financières selon leurs exigences mais...ils refusent de nous prêter car le crédit repose à 90% sur mes épaules et que je ne suis pas partie prenante dans le bien (en gros je paie un crédit pour quelque chose qui ne m'appartient pas...comme un loyer en tant que locataire ????). La banque estime que le risque est trop grand en cas de séparation, sous prétexte que je pourrais me retourner contre eux de ne pas avoir jouer leur rôle de conseil (une banque avec des scrupules...). Et que mon conjoint n'est pas propriétaire à 100%
Je souhaiterais savoir si parmi vous certain.e.s ont déjà connu cette situation ou si vous aviez des pistes à creuser (hors SCI, mariage, etc... pistes déjà explorées).
Notre situation est complexe mais je ne peux pas croire qu'il n'existe pas de solution.
Merci de vos éventuelles réponses,