Location de garage sans bail signé

Bonjour,

Suite à un accord avec le propriétaire d'un garage, il m'a donné sa clé de garage, j'ai débarrassé entièrement son garage et j'ai installé mes affaires à l'intérieur (j'ai également assuré le garage). Nous avions convenu à l'oral, en contrepartie d'avoir vidé son garage, que je gagnais un mois de loyer sur ce garage. Suite à cela je n'ai plus eu de nouvelles de sa part (malgré appels et mail) et je n'ai donc jamais signé de bail ni réalisé aucun versement de loyer. Cette situation a duré 15 mois. Aujourd'hui il s'est manifesté à nouveau et exige la somme totale des loyers. Quels sont mes droits et quels sont ses droits sachant que nous n'avons pas signé de bail et que je n'ai versé aucune somme pour ce loyer ?