Entrée en jouissance APRES signature

Bonjour,
Je suis locataire et j'achète. Mon vendeur achète et vend le même jour.
Nous avons le même notaire.
Pour éviter des frais au vendeur, lors de la signature du compromis, j'ai convenu oralement que je serai arrangeant pour son déménagement.
Malgré cela le compromis stipule que le jour de la vente le logement sera libre de toute occupation.
Courant mars j'ai rencontré le vendeur et nous avons arrêté nos dates de déménagement : je devais donc acheter un bien vide et j'avais 6 jours pour préparer mon entrée dans les lieux.
Aujourd'hui le vendeur ne déménage plus à la date prévue et refuse de modifier la date de signature.
Notre notaire tente de me rassurer et souhaite que je signe l'acte authentique alors que les affaires du vendeur seront encore dans le logement 4 jours après la vente.
Il me dit que le vendeur n'aura plus les clefs et que je devrais lui ouvrir la porte pour qu'il déménage.

Je trouve la situation anormale et je me sens pris au piège.
Quand je le dis au notaire et au vendeur ils me trouvent "procédurier" car je demande des astreintes journalières dans le cas où le jour de mon arrivée (soit 1 jour après le départ du vendeur) ses affaires sont toujours là. Pour autant le dialogue n'est pas rompu mais je commence à perdre patience.

Ai-je le droit de refuser de signer l'acte authentique puisque le bien ne se sera pas libre de toute occupation comme le stipule le compromis ? Merci de votre aide, JP.