Refus de me rembourser les frais bancaires

Bonjour, j'ai souscrit un prêt immobilier à la Caisse d'épargne. J'ai payé les frais de garanties et les frais de dossier. Cependant, dû à un vice caché découvert dans la maison avant la signature de l'acte authentique. Je ne souhaite plus acquérir cette dernière. J'annule donc le prêt et demande le remboursement des frais bancaires qui m'ont étaient imputés.La banque me dit que le remboursement se fera par un geste commercial, les frais ne seront pas rembourser dans leur totalité! Je trouve ça vraiment scandaleux ! Pouvez-vous me dire les démarches que je peux effectuer par rapport à cette situation. Merci d'avance.