Compromis signé rétractation des vendeurs

Bonjour,
Je suis acquéreur d'une maison que j'ai visité avec une agence. Nous avons effectué une proposition sur le prix de vente de la maison par l'intermédiaire de l'agence et celle-ci a été accepté par les vendeurs. Parmi tous les propriétaire une seule au départ ne pouvait pas venir l'agence a donc préparé un pouvoir. Finalement une autre des personnes n'a pas pu venir et a donc fait un courrier à sa soeur lui donnant pouvoir. Le compromis a donc été signé et ce courrier a été annexé au compromis de vente comme l'autre pouvoir d'ailleurs. Moi étant routier je ne pouvais pas signer ce compromis avant la fin de semaine. Ce qui est fais aujourd'hui, le délai de rétractation va m'être envoyé par l'agence dès demain et ensuite tout le dossier sera envoyé au notaire. Entre temps une autre agence a, malgré le compromis de vente, fait visiter la maison et a eu une proposition plus forte que la notre. Les vendeurs ne souhaitent donc plus nous la vendre. Et prétextent qu'il manque une signature (celle qui a donné pouvoir à sa soeur par courrier, courrier qui je vous rappelle est annexé au compromis), donc que la clause de pénalité est nulle. que pensez-vous de cette histoire ? Moi je suis toujours acquéreur bien entendu ... suis-je dans mes droits si malheureusement tout cela devait aller plus loin ? Merci pour vos réponses qui j'espère seront rapide.