Litige avec un agent immobilier

Bonjour,
il y a un an j'ai signé chez notaire un sous seing pour l'achat d'un appartement, mais n'est pas achete le bien pour des problèmes de famille. Le vendeur a accepté, j'ai abandonné la somme versée à l'origine. Dans le sous seing les frais d'agence étaient prévus et devaient être réglés par le vendeur.
Hors un an après l'agence me réclame la commission que le vendeur devait lui verser en cas de vente, en mettant en avant le fait que la vente ne s'est pas faite à cause de moi
Je dois prendre un avocat car cela passe par le TGI
Dois je payer? merci de vos réponses