Vente résidence secondaire remboursement crédit

Bonjour,

Nous avons acheté notre maison il y a 3 ans et nous sommes en train de vendre une partie (c'est un hangar attenant à la maison). Nous avons donc un prêt immobilier en cours sans hypothèque pour achat d'une résidence principale. Le notaire nous a expliqué que la vente de ce hangar serait sujet à l'impôt sur la plus value car considéré comme une résidence secondaire. Nous voulions rembourser notre crédit mais garder 10 000 euros pour faire des travaux dans notre maison, payer une partie de notre mariage etc ... Ma banque me dit qu'il faut donner la totalité de la vente dans le remboursement du prêt de ma maison car à l'époque ils nous ont prêtés pour la totalité y compris le hangar donc même si ça passe en résidence secondaire je dois tout de même tout donner dans le remboursement du crédit.
Pouvez vous me dire si c'est vrai ou pas ? Car normalement la vente d'une résidence secondaire nous ne sommes pas obligés de rembourser le prêt pour une résidence principale. Je vais payer 12 000 euros de plus value donc c'est bien considéré comme une résidence secondaire mais la banque joue sur le fait que c'est une partie de la résidence principale.
Pouvez vous me donner un texte de loi ou quelque chose où mon cas serait présenté ?

Merci