Credit vefa livraison retardé

Bonjour,
Je vous remercie par avance pour vos réponses.
Ayant souscris un crédit immobilier suite à un achat sur plan il y a un an, le projet était prévu pour juin et la livraison est finalement prévu pour novembre. Jusqu'ici rien de grave, au fur et à mesure de l'avancement je faisais débloquer les différents montants demandés par le promoteur, et ne payais que les intérêts. Depuis 2 mois on me prélève la totalité intérêt et capital dû, alors que je n'ai pas encore mon logement. Je paye donc l'équivalent de 2 loyers et me retrouve en difficulté financière. Ayant signalé après le premier prélèvement à la banque par courrier remis en main propre accompagné d'un avis d'imposition comme demandé le souhait de ne payer que les intérêts jusqu'à la remise des clés le mois dernier je pensais que ce serait réglé. Sauf que ce mois ci rebelotte, je contacte ma conseillère qui me dit qu'elle ne peut pas prendre cette decision et que ce sont ses responsables et qu'elle va faire ce qu'elle peut. Je ne sais plus quoi faire. Légalement suis-je obligé de subir ces prélèvements qui le mois prochain me mettrons dans le rouge.. Merci d'avance pour votre aide.
Bien cordialement