Abus de confiance ?

Bonjour,
J'ai contracté mon crédit "prêt à la consommation" en décembre 2013, afin de bénéficier d'une offre ponctuelle d'un taux à 3,50%, pour financer un projet prévu au printemps 2014, sans date précise (construction d'un garage).
Mon conseiller me l'a accordé, puis m'a conseillé de ne pas débloquer l'argent de suite, qu'il suffirait de le contacter au moment de la concrétisation de mon projet et qu'il débloquerait les fonds à ce moment-là.
Il a omis de me préciser que le déblocage des fonds devait avec lieu dans un délai de 6 mois.
Mon projet a démarré 4 jours après la date de prescription (que j'ignorais) et je me suis retrouvée en culotte courte au moment de payer ma facture...
Mon banquier n'a d'abord pas compris pourquoi l'offre de décembre ne se trouvait plus sur son écran et a pris une suée... avant de se ressaisir et de demander à son collègue : "les offres de crédits, c'est valable 6 mois, non ?". Ce dernier lui ayant confirmé, il a soudainement changé d'attitude en m'indiquant que j'étais sensée le savoir et qu'il fallait recommencer un dossier avec un taux à 5,50%, ce que j'ai refusé. Puis il m'a proposé un taux à 4,40% (dérogation). Ce que j'ai refusé également.
Après avoir discuté avec sa hiérarchie, elle a accepté de négocier un taux équivalent à celui initialement convenu, tout en me faisant comprendre que c'était une faveur qu'elle m'octroyait. J'ai alors compris que mon conseiller n'avait pas reconnu son omission... Il m'a rappelée pour m'annoncer l'accord du siège pour le taux à 3,50%, mais m'a indiqué que je devais m'acquitter des frais de dossier (qui du coup, étaient devenus à ma charge), et m'a demandé de faire la promotion de ma banque. Je lui ai rappelé que son omission avait failli me coûter cher et que j'attendais de mon conseiller de l'honnêteté. Il m'a précisé que ce qui se disait oralement n'avait pas de valeur.
J'ai fini par avoir mon crédit... Mais, au moment de recevoir le courrier récapitulatif, je me suis aperçue que j'avais omis de cocher la case "sans assurance facultative", et que le banquier c'était permis de cocher la case "avec..." en mon absence. De ce fait, je vais devoir rembourser autant que si j'avais accepté le taux à 4,40%.
Je n'ai, bien entendu, aucune preuve de tout ceci. Mais ai-je un recours possible afin d'annuler l'assurance que je n'ai pas contractée ? Dois-je déposer une plainte pour un abus de confiance, de pouvoir, pour non respect du code des assurances, des finances, par exemple ? Y a-t'il une réelle infraction ?
Merci à l'avance de toutes les indications que vous pourrez me donner.