Retractation du vendeur après signature unilatérale du compromis

Bonjour, il y a quelques temps je visite une maison. Après une contre-visite je fais part à l'agent immobilier de mon envie d'acheter cette maison qui me demande une offre écrite par mail. J'envoie donc l'offre et deux jours après l'agent immobilier me répond qu'elle a été acceptée. Il me propose un rendez-vous le lendemain pour signer le compromis. Le vendeur étant hospitalisé il m'explique que le compromis sera signé par moi seul puis qu'il le fera signer par le propriétaire par la suite. Je vais donc au rendez-vous signer le compromis. L'agent immobilier me rappelle 3 jours après pour me dire que finalement le vendeur n'est plus d'accord sur le prix. Il me pousse à accepter la nouvelle offre du vendeur en me disant que sinon la maison va me passer sous le nez. Je lui réponds que si le vendeur souhaite se rétracter c'est illégal et que si c'est l'agent qui a proposé une signature de compromis sans accord écrit du vendeur ce n'est pas de ma faute. Ce n'est pas à moi de payer la faute de l'un ou de l'autre. Y a-t-il des recours possibles. Le problème etant que je n'ai eu la notification d'acceptation de l'offre par le vendeur que par téléphone et par l'agent immobilier. J'ai en revanche signer le compromis de vente et moi, j'ai les diagnostics qui ont été remis suite à la signature du compromis, et l'agent immobilier à échanger avec mon notaire pour la rédaction du compromis.