Législation / versements vers assurance vie nantis

Bonjour,
J'ai souscrit un emprunt in fine, adossé à 1 assurance vie que je possède depuis de nombreuses années chez l'organisme prêteur. il existe alors, avec mon accord, un nantissement de cette assurance vie ce que je ne conteste pas!
Un prélèvement mensuel est effectué vers cette assurance vie depuis la souscription à l'emprunt. Ce prélèvement a été fait à ma demande sous les conseils de mon conseiller bancaire qui m'a bien précisé au moment de la signature que je serais libre de diminuer voire d'arrêter à ma guise ces prélèvements.
J'ai donc récemment demandé au prêteur de diminuer le montant de mes versements mensuels sur cette assurance vie mais la banque refuse...!
en a-t elle le droit?

Merci.