Pénalités remboursement anticipé

Bonjour,
Nous venons de solder notre crédit immo aprés avoir vendu notre maison et la banque (Crédit Agricole) nous prélève 2700 euros de pénalités pour remboursement anticipé, ce qui est tout à fait normal puisque dans les conditions générales de remboursement anticipé signé en 2005, il prévoyait un abandon total de ces pénalités si nous refaisions un crédit immo dans la même banque pour notre nouveau projet; or, il s'avère que c'est eux qui refusent de nous prêter pour notre nouveau projet(refus de prêt) et pas nous qui sommes allés voir un banque concurrente!!!
Que faire pour négocier l'abandon de ces frais?
Par avance merci,

Benoît