Indemnites de remboursement anticipé

Bonjour,

Je suis propriétaire d'un appartement depuis mars 2010. Un mois avant de signer la vente, j'ai rencontrer l'homme qui est aujourd'gui devenu mon concubin.
Nous vivons officiellement ensemble depuis juillet 2011 et nous avons eu une petite fille en novembre dernier.
Mon conjoint, en fin de contrat en décembre, a trouver un emploi en janvier mais il doit faire 120Km soit 2 heures aller pour se rendre au travail.... Nous cherchons donc à déménager pour nous rapprocher de son lieu de travail...
Et donc je souhaite vendre mon appartement! En cas de vente motivée par un changement du lieu d'activité professionnelle de l'emprunteur ou de son conjoint, il n'y a pas d'indemnités de remboursement dûe.
J'en ai parlé à ma conseillère à la banque : elle me dit que mon conjoint n'est pas pris en compte. Cela sera possible si c'est moi qui devait changer de travail...
Du coup je ne sais qu'en penser... Qu'entend t on dans la loi par "l'emprunteur et son conjoint"?
Quelqu'un peut il m'aider à y voir plus clair?...
Merci!