Suite à signature compromis de vente

Bonjour,

J'ai signé le 25 janvier un compromis de vente pour une parcelle de terrain.
Pour accéder à cette parcelle , nous devons passer par un chemin en indivision avec 1 autre propriétaires installé plus loin.
Ce chemin soit disant étroit, l'agence avec qui j'ai traité m'a fait signer un droit de passage sur ma propriété(autre parcelle avec maison) en pointillé, mal délimité.
J'ai fait confiance, cette agent immobilier étant bon ami de mes parents décédés dernièrement.
L'acquéreur est son frère et celui-ci s'est permis d'aller chez le notaire pour dessiner lui même le droit de passage long de 8m , permettant de faire son entrée de propriété sur l'autre parcelle dont je suis propriétaire avec la maison au lieu d'utiliser le chemin en indivision pour faire son entrée.
Tel dessiné, ce n'est plus un droit de passage mais cela risque de devenir une cour commune car le futur acquéreur souhaite faire une petite maison locative.
J'ai proposé un droit de passage de 2m ce qui évite un vrai vis-à-vis avec la maison et donc de faire une entrée en biais et de laisser la parcelle maison indépendante.
On me fait des menaces d'aller en procédure.
Je souhaite annuler ce compromis, comment puis-je procéder?
Je sais qu'un tel acte fait acte d'engagement mais, je n'ai déjà pas de compromis, ai signé un plan de droit de passage mal délimité, et l'agence immobilière fait pression sur moi en mettant en avant d'importants frais de successions que je vais devoir payer. Il me précise également que si je renonce au compromis, la vente de la maison sera bloquée.
Il s'agit vraisemblablement d'une histoitre de famille entre l'agent immobilier et son frère et qui ont essayé de profiter de ma faiblesse actuelle.
Dans l'attente de votre réponse,
Cordialement,