Crédit immobilier et pénalités

Bonsoir, j'ai fait un crédit immobilier avec ma femme pour acheter un appartement, en 2012 j ai été licencié et le mois de septembre dernier , j ai vendu mon appartement, je suis parti à la banque pour rembourser le crédit, mais ils m 'ont demandé de payer les pénalités même si j ai été licencié, sous prétexte que le licenciement remonte à 2012 et pas récemment , sachant que sur mon contrat est marqué que je paye pas de pénalités en cas de licenciement, alors je dois les payer?