Prêt immo avec apport prêt familial

Bonjour,

nous souhaitons aquérir une maison avec ma compagne et nous avons signé un compromis de vente, pour 213k€, frais de notaire inclus.
Je possède un appartement que je remet en vente et qui vaut au minimum 110k€, pour lequel il me reste 70k€ de pret à rembourser.
Afin de ne pas prendre de pret relais et sur conseil de mon conseillé financier, ma famille me prete l'équivalent du prix de vente de mon appartement,soit 110k€, en attendant que je le vende. (je m'engage à les rembourser à la vente:reconnaissance de dette).
Je rembourse donc les 70k€ sans pénalité. Il me reste donc 40k€ qui vont composer mon apport, auxquels ma compagne ajoute 10k€ d'apport .
Nous avons donc un apport de 50k€, il nous reste un emprunt de 163k€ à contracter.
Sur 25 ans, avec notre slaire actuelle de 2850€/mois, mon conseiller me me fait une simulation qui sera légèrement en dessous de 900€/mois, donc moin de 33% d'endettement (pas d'autre crédits à coté).

Le conseiller en immobilier me dite que c'est impossible que le crédit passe, car il prennent en compte le pret de 163k€ et les 110k€ que ma famille me prete.
Je ne comprend pas en quoi ces derniers doivent etre pris en compte, étant donné que j'ai établi une reconnaissance de dette stipulant que je les rembourserai à l'issue de la vente de mon appartement.
Il me précise que si ma famille ne me prete pas l'argent mais que je fais un pret relais, le pret passerai.
Son explication est elle recevable? (Au départ je traitais avec un autre conseiller qui est malheureusement en maladie, et qui était totalmeent sur que mon pret passerait avec ce montage)