Vol carte bancaire avec code refus banque

Bonjour,
Samedi dernier 29.01, nous avons payé par carte bancaire à la caisse d'une cafétéria carrefour notre dîner. J'ai tapé mon code sur un boitier PinPad (boitier relié à un fil ressort) donc que l'on tient de la main gauche pendant que l'on tape le code de la main droite. Nous étions seuls en caisse. Pendant le repas, ma carte a été volée de mon portefeuille. Je ne me suis aperçu que lundi matin en faisant des courses de sa disparition. J'ai fait imméditement opposition. Malheureusement les voleurs ont profité de tout le week-end pour utiliser notre carte. Les paiements frauduleux et retraits s'élèvent à un peu plus de 3000 euros...(Boîte de nuit sur Paris...)La Banque Populaire étant fermée le lundi, j'ai porté plainte à la gendarmerie, en attendant mardi matin pour me rendre à l'agence.C'est là que j'ai été prévenu que je ne serais sans doute pas remboursé par la banque étant donné que le code a été utilisé! L'affaire est en cours et nous sommes en procédure de litige avec la BP. Même, l'assurance de cette CB ne fonctionne pas selon la BP car il considére qu'il ya une faute grave de ma part si le code a pu être vu...

Bref, on se croit protégé et on ne l'est pas vraiment
Quel solution pour me défendre? Merci de votre aide.
Cordialement