Récupérer les parts d'un bien immobilier soumis à un prêt bancaire

Bonjour à tous,

Nous sommes actuellement propriétaires d'un appartement avec mon conjoint (nous sommes Pacsés). Pour l'acquérir nous avons souscrit un prêt bancaire à 50/50. Notre souhait initial était que j'en sois propriétaire à 100% car mon conjoint a un assez gros patrimoine familial contrairement à moi. Mais le notaire de l'époque nous avait dit que la seule solution était de recourir à une donation ou un rachat des parts une fois le prêt signé.
Afin de minimiser les coûts, nous pensions privilégier le rachat de parts qui est fiscalisé à 7 ou 8% contre 20% pour une donation supérieure à 80.000 euros. Est-il possible de lui racheter ses parts afin de bénéficier de l'entière propriété de l'appartement et continuer à rembourser le crédit à deux selon les conditions actuelles? En effet, nous ne sommes pas dans le cas d'une séparation. Il s'agit de notre résidence principale et mon conjoint souhaite continuer à rembourser le prêt. Merci d'avance pour votre aide et bon après-midi