Résiliation bail de 3 ans

Bonjour,
Nous souhaiterions quitter notre appartement pour lequel nous avons conclu un bail de 3 ans, avant le terme de ce bail. Cependant, notre propriétaire nous dit que, même en respectant un préavis de 3 mois, nous ne pourrons pas récupérer notre caution si nous n'avons pas trouvé de nouveaux locataires pour nous remplacer.
Ce n'est pas une clause écrite de notre bail, et ça me parait un arrangement étrange, est ce vraiment légal de ne pas nous rendre la caution si l'on a respecter un préavis ?