Notaire et loyers impayés

Bonsoir à tous,

Je voudrai avoir votre avis concernant le décès de mon propriétaire.

J'occupe un appartement depuis dix ans qui appartenait à une personne âgée. J'ai toujours payé mes loyers sauf le mois de février et mars 2012 car je m'étais marié et au vus des frais engagés, je n'ai pu tout assumer... Suite à ça, le propriétaire (qui habite dans le même immeuble) m'a déposé une lettre manuscrite directement dans ma boite aux lettres me réclamant les deux loyers...
J'ai donc été le voir pour lui expliquer que j'avais eu des difficultés suite à mon mariage et très conciliant il me dit finalement qu'il m'en fait cadeau pour me féliciter de cette union.

tout cela s'est fait oralement donc le problème entre lui et moi était réglé sauf qu'il ne m'avait pas remis de quittance pour ces deux loyers et je n'ai pas juger nécessaire de les lui réclamé étant donné qu'il m'en avait fait cadeau et que c'était une personne de parole.
Malheureusement il est décédé trois mois après (juin) et donc le notaire à commencer à intervenir à partir de ce mois ci. En étudiant les documents laissés à son domicile il a constaté sur la souche à quittances que je n'avais pas payé les deux loyers mentionnés ci-dessus et maintenant il me les réclame...

Donc ma question est: est-il en droit de me réclamer ces deux loyers alors que c'était un arrangement verbal et ce de son vivant?... ( le notaire n'est pas censé s'occuper de ce qui se passe APRES le décès?)
et si oui, a-t-il la possibilité d'aller plus loin? Car je lui aurais bien prouvé qu'on c'était arrangé mais je n'ai aucun document manuscrit le prouvant mais le notaire aussi n'a aucun document de type courrier recommandé ou autre me réclamant les sommes à devoir mis à part les deux quittances restées sur la souche...

Je vous remercie d'avance pour vos réponses.