État des lieux entrant non signé

Bonjour,

Je loue un appartement depuis 3 ans. Je suis passé par une agence immobilière : lors de mon entrée dans les locaux un état des lieux a été fait par l'agent immobilier en ma présence (propriétaire absent). J'ai signalé à l'agent quelques soucis dans l'appartement (peinture écaillée, ...) mais il ne les a pas inscrit sur l'état des lieux et m'a assuré que des travaux étaient prévus pour réparer tout ça. J'ai donc refusé de signer l'état des lieux que je jugeais incorrect. Les travaux n'ont pas été faits et l'agent n'est pas revenu compléter l'état des lieux avec moi comme prévu.
Je n'ai donc pas d'état des lieux entrant avec mon bail.
Je quitte l'appartement dans 3 mois, c'est mon propriétaire qui dispose de ma caution et j'ai bien peur qu'il me fasse payer les réparations dans son appartement. Il n'a aucune idée de l'état dans lequel l'appartement était puisqu'il n'est pas venu entre le départ du précédent locataire et mon arrivée.
Que dois-je faire ? Recontacter l'agence pour signer l'état des lieux ou est-ce trop tard ? Est-ce que l'état des lieux signé par l'agent seul est valable ?

Merci pour votre aide