Restitution du dépôt de garantie au nouveau propriétaire, d'un appartement achet

Bonjour,
j'ai acheté un appartement qui est loué.
L'ancien propriétaire avait confié la gestion locative à un prestataire extérieur.
A son entrée dans les lieux le locataire a bien évidemment effectué un dépôt de garantie.
Je suis donc le nouveau propriétaire, et je doit rembourser le dépôt de garantie au locataire qui quitte le logement.
Je ne parviens pas à récupérer le dépôt de garantie :
- dans le contrat de vente du bien, le notaire a inscrit que "les parties feront leur affaire auprès de ce cabinet (de gestion locative) de tout comptes de prorata de loyer... et de remboursement du dépôt de garantie"
- Le cabinet de gestion locative me dit qu'il ne détient pas la caution, que je dois m'adresser au propriétaire,
- l'ex propriétaire, non présent à la vente et représenté par le notaire ce jour là, ne répond pas à mes demandes de récupération du dépôt de garantie.
Y a t il défaillance dans la mission du notaire ? du prestataire de gestion locative?
Quel recours puis-je avoir pour récupérer le dépôt de garantie?