Annulation achat de maison

Salutations a tous. Voila mon problème, il y a un an j'ai voulu acheter un terrain constructible donc j'ai signer un compromis de vente sans verser une somme de 5%. Entre temps je me suis rendu compte que mon voisin du lotissement ne respectait pas certaine norme de construction. Pour éviter de rentrer en procès contre ce voisin j'ai préférer annuler l'achat du terrain. Maintenant le lotisseur me demande de verser les 5% sinon il m'envoie en justice.
Je n'ai pas envie de donner ces 5%, quel risque m'attend si je part en justice (temps du jugement, pénalité financière encourue...).

Merci pour vos conseil.