Lissage non respecté par la banque

Bonjour,
En octobre dernier, en voulant renégocier notre crédit immobilier, nous avons découvert que le lissage prévu dans notre contrat n'a pas été respecté !! En fait, comme nous faisions construire notre maison (1 an de travaux), nous avons débloqué notre crédit en fonction des travaux. Or, la banque a débloqué totalement notre PTZ au début (et nous l'a fait rembourser), ce qui fait que l'on a un décalage d'un an dans nos mensualités : sur 25 ans, 1 an à 990 €, 1 an à 180 €, les 23 autres années à 580 € !!!! Quel recours avons nous ?