Retractation compromis vente a qui envoy lr

Bonjour,
Pourriez-vous nous indiquer à qui nous devons adresser notre lettre recommandee pour la rétractation du compromis de vente. Nous sommes passés par un agent immobilier, mais c'est le notaire qui l'enverra. Doit-on prévenir le notaire , l'agent immobilier, ou le vendeur.
Sommes-nous obligés de signer le compromis que ns devrions recevoir ces jours, le renvoyer, puis y renoncer par courrier recommandé, mais à qui ?
Merci de votre aide