Mon créancier refuse que je le rembourse, que faire ?

Bonjour,

Dans le cadre d'un ancien travail, il y a environ 3 ans, j'avais tissé des liens avec un collègue avec qui je croyais développer une amitié. Ce collègue était homo (ce détail à son importance dans l'histoire). 

A cette époque je traversais des moments difficiles (familial et financier) et il m'avait proposé son aide financière pour me sortir de ces difficultés. J'ai immédiatement refusé, et je lui ai dit de me laisser gérer cela à mon rythme. Entre temps, on se voyait en dehors du travail, pour aller au cinéma etc et il a commencé à un insisté lourdement pour m'aider. 

Il ne voulait pas en démordre et j'ai finalement cédé, il m'a prêté 2500 € (sans compter qu'il insister toujours pour payer nos sorties). 

Quelques semaines après m'avoir prêté cette somme il a commencé à me draguer lourdement en me disant des choses assez directes (j'aimerai bien te ....). Alors que je suis hétéro et il le savait pertinemment. 

Après avoir subi une forme de harcèlement sexuel et moral j'ai rompu tout lien amical avec lui mais je m'étais engagé à le rembourser mensuellement et il a refusé. Il a refusé que je le rembourse mais a fait de moi un voleur et un menteur auprès de tout les collègues en disant que je l'avais pas remboursé. 

J'ai démissionné car il a pourri ma vie mais je cherche toujours à le rembourser pour me débarasser de ce poids mais il refuse continuellement tout en me dénigrant auprès des anciens collègues.

Est-ce que je peux passer par un avocat pour le "forcer" à accepter le remboursement ?