Delai pour la signature de l'acte de vente depassé

Bonsoir,
Je me tourne vers vous car je ne trouve pas de réponses à notre problème.
Je vous l'explique.

Nous avons, mon conjoint et moi - même, signé un compromis de vente pour un appartement dans lequel nous souhaitons y faire vivre ma belle soeur (investissement locatif). D'après le compromis, la signature de l'acte de vente devait se faire au plus tard le 31 mai 2016. Mon conjoint étant en déplacement professionnel jusqu'a la fin juin, nous avions fait faire une procuration pour que je puisse signer sans lui. Or la notaire avait mal compris et nous a fait signer une procuration uniquement valable pour le compromis! Cela fait qu'aujourd'hui elle m'indique que nous n'avons pas d'autres choix que d'attendre le retour de mon conjoint. Sauf que le vendeur ne l'entend pas de la sorte et demande a ce que ma belle soeur entre dans l'appartement le 1er juin et lui verse le loyer du mois de juin (en dédommagement du délai supplémentaire).
Est-il dans son droit? Est on obligé d'accepter sa condition?
Dans le cas où nous refusons de le dédommager en lui payant un loyer, est il dans le droit d'annuler la vente et surtout de nous prendre l'accompte que nous avons versé lors de la signature du compromis?

J'espère que mon explication est relativeme t claire et que vous pourrez m'apporter des réponses!
Merci par avance
Bonne soiree