Peux-t-on changer le prêt après signature?

Ma banque courant janvier m'a proposé un prêt immobilier à 3,90 % que j'ai accepté et signé au mois de mars. La vente a trainé et je ne dois signé que fin mai. Je me demande si je peux ne pas faire ce prêt dans cette banque car après renseignement, une banque concurrente m'a proposé cette semaine 3,50%. Est-ce possible? Quels sont les frais possibles?
Merci.