Congé à locataire

Comme propriétaire,j'envisage de donner congé à mon locataire actuel afin d'occuper ma résidence.Je connais les règles qui s'appliquent dans ce cas,mais comme je loue ma maison par une agence,dois je donner congé à l'agence (avec qui j'ai un contrat) ou bien seulement au locataire, ou les deux ?
Merci de votre diligente réponse