Compromis signé le 04/10/11 et rien depuis..

Bonsoir,
J'ai signé en agence un document de vente et droits immobiliers le 04 octobre 2011 avec l'acheteur de mon bien, à ce jour nous n'avons toujours pas signé l'acte de vente chez le notaire. Ni l'acheteur, ni l'agence ne répondent à mes demandes. Mon notaire les a également contacté pour savoir où en étaient les démarches. Soit disant que les deux premières demandes de prêts ont été rejetées mais je n'ai aucun justificatif, que j'ai réclamé bien entendu. Puis-je annuler la vente avec cette personne pas sérieuse, est-ce que ça va me coûter quelque chose en plus du préjudice que je subi ?