Resiliation de bail pour y habiter avec bail verbal

Bonjour,
Je vous contacte car je viens de recevoir une LR avec AR me notifiant que mon propriétaire désire récupérer sa maison pour y loger son fils et je voudrais savoir si il a la droit sachant qu'il y a un bail verbal avec lui. Aucun écrit...
J'occupe sa maison depuis 2 ans ( une année par le biais d'un agence et une autre en bail verbal).En effet, à la fin de la première année, par le biais de l'agence, je devais partir mais il y a eu des contre temps et j'ai donc demandé au propriétaire d'habiter encore dans sa maison le temps de ma mutation qui ne s'est pas faite... Du coup, nous n'avons jamais rédigé de bail.
Le propriétaire me dit que la première date d'entrée dans les lieux est la date du début du bail soit le 1er mai 2012, alors que je pense que c'est la date du bail verbal qui est le 3 Août 2013.
Merci de votre réponse pour mon cas un peu compliqué:))))