Ai-je le droit de refuser l'acte authentique de vente

Bonjour,
Mon mari et moi avons signé un compromis de vente pour l'achat d'une maison mais même si la maison est belle, j'ai trouvé qu'on a signé un peu trop vite. On a fait l'offre d'achat le soir même de notre visite et le compromis 6 jours après. J'ai comme l'impression que l'agent immobilier voulait absolument vendre parce que je lui ai posé la question de me rétracter avant la signature du compromis, il m'a répondu que ce n'était pas possible. J'aurais pu me rétracter mais je ne voulais pas décevoir mon mari qui est tombé sous le charme de la maison. Que dois je faire ?