Probleme avec un dedomagement fin de bail

Bonjour,

voila j'aimerai savoir un petit renseignement.

je louai une maison, étant a la recherche d'un travail, j'ai trouver un mais loin de mon logement.

j'ai donc été trouver mon propriétaire, et nous somme convenu d'un accord a l'amiable de casser le bail prématurément.

il ma réclamer un moi de loyer, se que j'ai très bien compris et lui ai dis ok pas de problème. nous n'avons conclu aucun papier, tout s'est fait oralement !!

le jour venu je suis déménager, et le propriétaire est venu faire l'état des lieux et n'y a constater aucun degat, nous somme donc aller a la banque et avons procéder au déblocage de la caution locative.
j'ai reccuperer 100 % de la caution.

j'ai payer mon propriétaire en main propre a l'amiable comme c'était convenu lors de notre entretient.

vu que on se faisait confiance, 6 ans de location , je n'ai pas demander un reçu et ni fait de papier comme quoi nous nous étions acquitter de la dette.
il a empocher l'argent.

il m'attaque maintenant au tribunal de paix pour dédommagement impayée et réclame 3 moi supplémentaire.

que puis je faire.
et le propriétaire que peut t'il faire.

Merci de votre aide je suis un peut perdu ...