Payer la caution avant le bail... ?

Bonjour,

Le bailleur de l'appartement qui m’intéresse exige que je paye la caution avant de signer le bail.
Je prévois une colocation avec une personne et samedi dernier nous avons réservé un appartement. Le bailleur nous a proposé de revenir lundi quand il serait disponible pour signer le bail. Nous lui avons répondu que nous étions prêtes à prendre l’appartement dès la signature. Entre temps, il a changé la date du bail à samedi (une question de disponibilité).
Mais depuis lundi il fait pression pour nous faire payer la caution, et à cela il vient d'ajouter le premier mois de loyer ! Nous n'avons rien signé, mais il affirme que nous nous sommes engagées à prendre l'appartement dès lundi et qu'il faut payer. (De plus, il ne comprend pas que nous avons des demandes valides de caution locative étudiantes qui attestent que le CROUS lui versera la somme demandée à la signature du bail)
Il menace de nous laisser tomber et de trouver quelqu'un qui accepte de payer la caution à l'avance... Que faire ? J'ai peur de ne pas trouver une autre location...

Merci d'avance pour vos réponses.