Signature d'achat reportée

Bonjour,
je suis en train d'acheter une maison dont le compromis a été signé le 8 fevrier 2011. lors de cette signature il a été convenu que nous signerions l'achat (donc que nous pourrions prendre possessions des lieux) le 15 mai, qui avait été fixé comme date butoire. mais voila, l'agent immobilier a fait trainé les choses et du coup le notaire ne peut pas nous recevoir avant le 24 mai...en gros cela nous fous dans la M**** car nous avions prevu notre déménagement le weekend du 21/22 (camionette louée etc...) Le notaie a t'il le droiit de dépasser sans nous en avertir la date qui avait été fixé en amont, sachant qu'elle était inscrite sur le compromis ????? merci