Demande sur l'etat des lieux

Bonjour, j'ai déménagé le 19 février et avec l'accord de mon propriétaire,non écrit,je n'ai pas eu de préavis car j'ai eu un appartement en hlm.Mon propriétaire n'est pas souvent en France et m'a demandé de mettre les clés dans sa boite aux lettres et qu'il me contacterait quand il rentrerait.Jai gardais les clés,ne pensant pas l'embéter pensant lui rendre à l'état des lieux.Le 5 mars n'ayant toujours pas de nouvelles de lui,je l'ai contacté,il m'a répondu qu'il était venu mais repartis car on avait pas pu se voire car je n'avais pas laissé les clés,je lui ai répondu que je ne comprenais pas pourquoi,à son tour il me dis que je l'ai empéché de louer et que cela se ferait sous huissier...Quels sont mes droits et les siens?Merci de votre réponse