Litige avec constructeur

Bonjour,
je suis actuellement en compromis, j' ai un litige avec mon constructeur, j' ai fais un crédit total terrain + maison.
Le terrain appartient à un particulier.
Est-ce que je suis quand même obligée d' acheter le terrain?
A la date de signature du compromis le vendeur n'était pas encore propriétaire ,il était lui même en compromis avec le vrai propriétaire.
Comment est-ce que je peux me débarrasser de mon constructeur tout en récupérant mon dépot de garantie de 2500€ et sans qu'il m' assigne en justice pour des dommages et interets.