Problème avec un courtier

Bonsoir.
J'ai besoin de votre avis concernant le montage d'un dossier de prêt immobilier. Mon premier projet immobilier. Donc pas au courant de tout...

1er rdv : le courtier me propose une simulation.
Taux intéressant sur 20 ans.
Une banque à été trouvee.
Et là, la proposition de l'offre de prêt est tout autre.
Taux augmenté de 0.10 point.
OK.
Quelque temps plus tard, la banque en question me propose d'adhérer à son assurance habitation.
Je refuse car je ne veux pas changer. Mon assureur actuel étant très bien.
Du fait de mon refus, la banque décidé d'augmenter une nouvelle fois le taux de 0.10 point. Passant ainsi de 1.55 à 1.75.
Mieux, lors de la édition du projet modifié, je constate que l'apport perso augmente de 1000 euros !
Le courtier me dit que je n'ai pas le choix !
A part de refuser le prêt...
Mes questions sont les suivantes :
- la banque est-elle en droit de modifier comme cela s'est passé ?
- ai-je droit à un recours ? Si oui lequel ?
- puis-je refuser ce prêt et faire appel à une autre banque ?
Naturellement, je refuserai cette première offre que lorsque j'aurai obtenu une nouvelle.
Qu'en pensez vous ?
Merci pour votre aide et vos conseils.