Demande de remboursement des frais d'agence

Bonjour,
J'habite un logement avec mon copain depuis 1 mois et demi. Etant donné que l'appartement est dans une maison indépendante, les propriétaires avec leur fils qui est un attardé mental de 46 ans habitent la maison au dessus. jusque la tout vas bien mais il y a 1 mois a peut près une grosse histoire survient et depuis leur fils nous hurle dessus, n'arrête pas de chercher la petite bête, veut que mon copain parte etc. Je suis aller voir l'agence avec un enregistrement ou il nous hurle dessus alors que nous on reste calme comme toujours, je leur explique que c'est plus supportable et qu'on veut déménager. Par contre on voudrais se faire rembourser les frais d'agence de 502 € car on a trouver l'appartement qui nous plait mais il faut repayer les frais d'agence de cette appartement qui sont de 520 €. Je ne me vois pas personnellement de payer en 2 mois 1000€ de frais d'agence alors que c'est même pas notre faute qu'on doit déménager.
L'agence ma répondu qu'ils ont fait leur travail et cela a été encaissé et non remboursable, ce que je comprend tout a fait. Ils me proposent de me reloger gratuitement mais aucun de leur bien ne me convient a cause des loyers très élevés.
Es que je peut demander un dédommagement au propriétaire étant donner que c'est leur fils qui nous pousse a déménager?