Restitution caution-propriétaire injoignable

Bonjour,
Je me permets de vous faire part d'un problème par rapport à la restitution du dépôt de garantie d'un appartement que j'ai quitté le 28 actobre 2010.
C'est une agence qui s'occupe des relations entre mon bailleur et moi-même.
Lorsque j'ai emménagé, j'ai signé bail et EDL d'entrée directement avec le bailleur, qui m'a donné une adresse, un téléphone et un mail. Le mail s'est avéré très vite ne pas fonctionner (retour des courriers), et le propriétaire ne répond jamais au numéro de téléphone qu'il m'a donné. Il m'avait également communiqué une seconde adresse, différente de celle figurant sur le bail, à laquelle j'ai envoyé les premiers chèques de loyer (janvier, février et mars 2010), qui ont bien été encaissés. Puis l'appartement a été pris en gérance par une agence. Ce sont eux qui ont encaissé mes loyers d'avril à octobre 2010 et établi l'EDL de sortie le 28 octobre 2010.
Lorsque j'ai envoyé mon préavis de départ, je l'ai fait auprès de l'agence et du propriétaire (adresse officielle marquée sur le bail), le recommandé au propriétaire m'est revenu avec la mention "n'habite pas à l'adresse indiquée." Cela n'a pas posé de problème car l'EDL de sortie a été établi avec l'agence.
Le propriétaire m'a ensuite envoyé un courrier avec des factures infondées pour "justifier" le non rendu de ma caution et même réclamer plus d'argent. L'en-tête de ce courrier porte l'adresse depuis laquelle mon recommandé m'était revenu. L'ADIL m'a confirmé que ces sommes étaient retenues de manière injustifiée et que je pourrais légitimement les contester devant un tribunal d'instance et m'a très clairement expliqué la procédure.
Un second problème est survenu entre-temps, et ici les personnes de l'ADIL ne sont plus très sures de ce qu'il faut faire. J'ai envoyé le recommandé de mise en demeure de me rendre la caution sous huitaine à l'adresse à laquelle j'envoyais mes premiers chèques de loyers, étant donner que je savais que l'adress "officielle" figurant sur le bail et le courrier concernant le non rendu du dépôt de garantie ne fonctionnait pas. Ce recommandé m'est revenu avec la mention "adresse incomplète" (plus précisément, il ne m'est pas encore revenu mais le suivi via internet indique "adresse incomplète" et j'attends le retour de l'accusé de réception papier). Etant donné que j'ai déjà fait parvenir du courrier à cette adresse, je suppose, sans pouvoir le prouver, que mon propriétaire a refusé le recommandé et s'est arrangé avec le facteur pour qu'un autre motif de non remise du courrier soit indiqué. L'agence, contactée, m'a confirmer ne pas disposer de coordonnéesde coordonnées différentes ni plus complètes.
Dans ces conditions ("non réception" de mon premier courrier de mise en demeure par le propriétaire), puis-je malgré tout aller vers un tribunal d'instance et espérer voir mes revendications aboutir ? Quelle attitude adopter envers l'agence ? Je comptais poster un recommandé de mise en demeure de payer la caution à l'adresse "officielle" indiquée sur le bail, attendre qu'il me revienne comme le précédent et aller ensuite au tribunal en expliquant que je n'ai pas de moyen de joindre mon propriétaire. En parallèle, je comptais informer, également par recommandé, l'agence de ma décision de porter l'affaire en justice.
Merci d'avance pour vos conseils. N'hésitez pas à demander des précisions si certains points de cette histoire compliquée vous semblent un peu flous !
Merci beaucoup.