Compromis de vente : annuler pour erreur de prix

Bonjour,

J'ai signé un compromis de vente il y a 3 semaines maintenant.
Cela concerne la transaction entre la commune et moi-même, pour l'achat d'un terrain.
Ce compromis de vente comporte plusieurs documents annexes, dont un document de la mairie : la délibération municipale.
Ce document indique le prix du terrain de 100000 euros HT , soit 120000 euros TTC.

Or j'ai appris par le notaire, le jour de la signature, que la commune n'était pas assujettie à la TVA.
Donc logiquement, je devrais payer le prix de 100000 euros.
Mais le vendeur (représentant de la commune) veut tout de même le vendre au prix de 120000 euros !
J'ai tout de même signé dans le doute... j'avais attendu 6 mois avant ce rdv avec le notaire, et je n'avais plus le temps.

Aujourd'hui, 3 semaines passées la signature, le vendeur finit par comprendre que le prix de vente doit être de 100000 euros (j'ai du envoyé plusieurs mails, dont au notaire pour indiquer que le document annexe était caduque).
Il me dit que le prix sera modifié directement sur l'acte final de vente lors de la signature.

Entre temps, le lien de confiance a été rompu. Et je ne souhaite plus finaliser la vente.
Et j'ai reçu de meilleures offres foncières ailleurs, avec des gens qui me semblent bien plus compétents.

Puis-je demander l'annulation de la vente et récupérer les 10% d'acompte (10000 euros!) ?