Mandat de location

Bonjour,
je viens d'acheter un appartement qui était loué,puis les locataires sont partis sans préavis,l'agent immobilier qui le gère a gardé la caution qu'il ne m'a pas encore reversée. Je voudrais savoir si il y a un moyen de rompre le contrat avec l'agent immobilier car je trouve qu'il ne fait pas son travail.Et est-ce que je peux quand même trouver un autre locataire moi-même. Merci.