Habitation sans bail sans loyer

En 2003 un ami disposant d'une maison inhabitée depuis 1994 et sans entretien général m'a proposé de l'habiter à titre gratuit. En échange je devais remettre en état la maison et à assurer l'entretien régulier intérieur et extérieur à mes frais.
Il n'y a pas eu de bail ni écrit ni verbal d'établis et pas de loyer à payer. Je payais les charges , EDF, impots locaux , eau, chauffage.
J'ai annoncé à mon ami propriétaire de cette maison que j'allais déménager.
Quelques jours plus tard, il m'a fait parvenir un courier ( non recommandé) me demandant de lui payer tous les loyers depuis 2003 ainsi qu'un bail a signer et anti dater de 2003.
En a-t-il le droit sachant que nous nous etions mis d'accord verbalement sur la gratuité de l'hébergement.
Merci de vos reponses