TRANSFERT DE PRET POUR CONSTRUCTION

Bonjour,

Nous voulons vendre notre maison pour faire construire, nous avons un pret pour 25 ans depuis 4 ans, cautionné par le crédit logement.
Notre banquier dit qu'il est impossible de transférer ce prêt pour une construction, hors je lui ai posé clairement la questionné, aprés la vente n'est -il pas possible de bloquer l'argent sur un compte du solde restant du, et la différence financer l'achat du terrain et début des travaux. La réponse est non, ou transfert de prêt avec vente/ acquisition d'un nouveau bien avec signature de 2 compromis, chose impossible en timing !
Ou vendre puis faire construire avec nouveau prêt sur 25 ans, cela veut dire j'ai perdu 4 ans à payer des intérêts pour rien et pas sur d'avoir le même montant qu'il y a 4 ans
Ma solution peut elle être gérée par le notaire??

Merci