Acquéreurs appartement indélicats et poursuite

Bonjour,

Je rencontre actuellement un gros soucis avec la vente de mon appartement. En mars j'ai trouvé des acquéreurs. Ils ont mis 2 mois a venir signer le compromis chez le notaire (à chaque fois, ils accusaient leur notaire de ne pas leur avoir donné le bon jour, etc). Une fois le compromis enfin signé (on était en mai donc) ils ont exigé que je vide directement mon appartement pour pouvoir le revisiter et prendre des mesures soi-disant indispensables à l'obtention de leur prêt. Là j'ai du refusé parce que quand même j'y habite encore (!) et que je n'allais quand même pas vivre dans un garde-meuble. Mon notaire, que j'avais prévenu de l'incident s'était montré très mou, limite je devais le faire pour faire plaisir aux acquéreurs, enfin j'ai eu l'impression de rêver.
Mais ce n'était que le début: pendant 2 mois, plus de nouvelles des acquéreurs, la date de la signature est dépassée d'un mois, c'est le silence radio. Je demande a mon notaire ce qui se passe, il ne fait rien pour se renseigner et je reste dans le flou, sauf que de mon côté, je suis poussée par les personnes a qui je veux acheter une maison pour me reloger et qui veulent savoir ce qui se passe. Au final je suis obligée de renoncer à cette acquisition pensant que les acquéreurs de mon appartement ont laissé tombé et que je vais devoir le remettre en vente.
Mais voilà, quinze jours plus tard, mon notaire m'appelle tout joyeux pour m'annoncer que les acquéreurs viennent d'obtenir leur prêt et qu'ils veulent signer dès leur retour de vacances (pas avant).
J'avoue que je panique un peu, je vais voir pour des locations en urgence afin de me reloger. Comme en plus je travaille j'explique au notaire que je ne pourrai signer que vers le 15 septembre. Voilà que mes acquéreurs qui voulaient signer début septembre me menacent de poursuite si je ne fais pas ce qu'ils demandent et avec en plus le soutien de MON notaire!
Que puis-je faire? Ils me font lanternés des mois sans que personne hormis moi ne trouve rien à y redire et il suffit qu'ils ordonnent quelque chose pour que le notaire que j'avais choisis leur obéisse et me menace! Est-ce que c'est vrai que des poursuites peuvent être engagées contre moi car je ne suis pas disponible à la date qu'ils ont choisit (alors que je l'étais à celle de la signature indiquée dans le compromis de vente!)
J'ai peur, j'irai bien sur voir un avocat si ça tournait mal mais quand même...
Merci de vos idées et conseils, parce que là je ne sais plus quoi penser.