Achat qui dure trop longtemps

Bonjour,
Je suis en train d'acheter un appartement. J'ai signé le compromis de vente le 2 janvier 2017. Le premier avenant indiquait que je devait avoir l'appartement mi mars donc assez rapidement. Suite à une erreur de ma banque qui reste encore floue ma demande de prêt a dû être renvoyée et cela a donc pris plus de temps. J'ai eu une autre date mais rien ne bougeait donc annulé. Aujourd'hui, j'ai un nouvel avenant qui stipule que je signerai maximum le 22 mai. Et depuis je n'ai pas de nouvelles. Mon notaire répond vaguement au mail et me dit que c'est le notaire d'en face qui ne répond pas. Il est toujours en réunion, ne me rappelle jamais et je commence à m'inquiéter.
Que faire ? Car cela va bientôt faire 6 mois que j'ai payé pour bloquer l'appartement mais depuis j'ai l'impression qu'on freine l'achat, avec des excuses bidons ou bien carrément pas de réponse. De plus, on m'a donné les clé de lappartement depuis février et je ne peux bien sûr rien y faire à part voir les nombreux défauts et je ne suis plus sûr de vouloir l'acheter vu ce qui m'était caché (bruit infernal de la rue alors qu'on m'a dit que c'était très calme. Je suis engagé, mais ai-je droit à quelque-chose compte tenu de ce retard qui fait que je paie une location en attendant, que j'ai perdu des jours que j'avais posés pour les travaux de mon futur appart ?
Merci d'avance de vos réponses.