Rachat de credit

Bonjour,
Nous avons souscrit une crédit immobilier et nous venons de démarrer il y a un mois de payer les mensualités donc de débuter l'amortissement.
J'avais une banque qui était prête à nous racheter le prêt mais quand j'ai demander à mon conseiller par mail, celui ci m'a répondu qu'il fallait que j'attende au moins 6 mois d'amortissement.
Est ce que mon conseiller à le droit de m'obliger à attendre 6 mois d'amortissement ou est ce que il a dit ça pour essayer de me dissuader de partir vers une autre banque?
Dans les conditions générales que j'ai reçues dans mon offre de prêt il est stipulé qu'en cas de remboursement anticipé il me sera demandé 3 % d'indemnités mais en aucun cas il est stipulé qu'il y a un délais avant de pouvoir faire un remboursement anticipé.
de plus dans la fiche européenne standardisé, il est noté "l'offre de prêt est remboursable à tout moment".
Merci d'avance pour votre réponse