Résiliation mandat simple

Bonjour,
J'ai signé un mandat simple pour la vente de mon appartement il y a un mois auprès d'une agence. Par contre j'avais fait apparaître une clause spéciale comme quoi ils ne pourraient mettre le bien en vente qu'une fois le délai des 45 jours d'octroi du prêt obtenu.
Entre temps, j'ai trouvé un acquéreur, et le compromis a été signé il y a 4 jours.
Je ne leur ai signalé qu'aujourd'hui que mon bien n'était plus à vendre.
Je viens de leur faire parvenir une lettre recommandée avec AR, suite au coup de fil.

A ce jour, ils me somment de payer des indemnités, soit la commission à laquelle ils auraient eu droit.
Je ne pensais pas être en tort dans la mesure où je pensais que le mandat ne prendrai effet qu'à partir de la date stipulée dans la clause, et non la date de rédaction du mandat.

Merci d'avance pour vos conseils légaux et avisés, car payer les 15000 euros me désempare.

cordialement

Jenny