Fiscalité sur compte espèces PEA

Bonjour, j'ai un PEA à la Banque Populaire ouvert depuis 29 ans. Il est donc adossé à un compte espèces qui en reçoit les revenus , revenus qui sont soumis à fiscalité et déclarés. Comme ce compte espèces avait un peu d'argent disponible et inutilisé (1 541 €), j'ai voulu reverser cet argent dormant sur mon compte courant et il m'a été retenu de la fiscalité (CSG, RDS et autres pour 130 € environ). Je considère qu'il y a double imposition puisque ce compte a reçu des sommes après prélèvements et que l'on m'en applique un nouveau pour pouvoir en disposer. Mon agence m'a répondu que tout retrait d'un PEA y était soumis. Est-ce normal ou dois-je contester cette double retenue (une maintenant globale après des retenues ponctuelles durant 29 ans) ? Pour moi, il ne s'agit pas du retrait du PEA mais du compte espèces.