Avenant au crédit immobilier

Bonjour,

j'ai signé un contrat de prêt immobilier et simultanément un avenant annulant les frais de remboursements anticipés sauf en cas de rachat par une autre banque.
Je l'ai retourné, le crédit va être débloqué et maintenant ma conseillère réclame que je prenne l'assurance habitation chez eux sous peine de rendre caduc l'avenant.
Je ne vois nulle part cette clause (dans le prêt ou dans dans l'avenant) et il n'en n'a jamais été question.
Dois-je m'inquiéter ? Peut elle réellement annuler cet avenant si je ne souscris pas l'assurance habitation chez eux?
Merci pour vos réponses.