Prêt résidence principale location

Bonjour,
Je me retrouve dans une situation particulière :
J'ai signé un compromis pour un appartement loué au mois d'avril 2019. Le locataire devait partir en Juillet/ Août 2019 et donc je devais récupérer le bien pour y habiter.
J'ai fait la demande de crédit à la caisse d'épargne pour une résidence principale mais sur le compromis de vente il était bien stipulé qu'il y avait un locataire en place.
Début juillet, je signe l'acte authentique et je deviens propriétaire de l'appartement. Le locataire n'est finalement pas muté et j'apprends qu il va rester dans l'appartement.
Je décide donc de rechercher un autre appartement libre afin d'y habiter et de laisser celui ci en location, étant donné que le loyer couvre plus que le crédit.
Ayant trouvé mon deuxième appartement, je contacte ma banque et on fait la demande de crédit. Après une semaine mon banquier me contacte et me dit que l'acte de cautionnement refuse le prêt car ils ont déjà fait un prêt pour résidence principale et il trouve ça louche que ce soit en location et que je rachète un deuxième bien.
J'ai été voir d'autre banque qui eux veulent bien me financer mon deuxième appartement.
La question est: qu'est-ce que je risque étant donné que le premier crédit a été fait en tant que résidence principale alors qu'il était loué ( même si théoriquement le locataire devait partir, mais j'ai aucun document qui peut le prouver) sachant que j'avais donné le compromis de vente à la Caisse d'épargne où il était bien stipulé que le bien était vendu loué ? Puis je refaire un deuxième crédit dans une autre banque en tant que résidence principale sachant que j'en ai déjà un? La caisse d'épargne est elle en droit de me demander le remboursement immédiat du premier crédit et a t'elle le droit de refuser le changement du prêt de la résidence principale en investissement locatif ?
Je vous remercie pour toutes vos réponses!
Cordialement