Compromis signé et parcelle diminuée

Bonjour,
Nous avons signé un compromis de vente pour un terrain le 18 mai dernier. Notre parcelle est de 1740 m2 et fait partie d'un lot de 8 . Suite a un CU négatif, à cause des entrées de 3 parcelles, le propriétaire des terrains à dû refaire les parcelles et la mienne se trouve diminuée (le prix lui ne bouge pas!). Quelles sont mes droits par rapport au compromis? Puis-je annuler sans frais? L'agence m'a déjà pris 500€, vais-je les perdre?
Merci pour vos réponses.