Se desengager contrat terrain + maison

Bonjour,
cela fait plusieurs mois ( 11 ) que nous avons reservé un terrain chez un lotisseur
il y a eu beaucoup de retard et de soucis entre le lotisseur et la DDT, du coup tous les permis ont été refusés faute de papiers manquants ( DAACT ).
2 ème essai en mairie, de nouveau un refus, on a donc écris au lotisseur que nous nous désengagions de la resa sur le terrain
pour la banque pas de soucis pour s'en dégager vu que l'offre de prêt déjà prorogée une fois a été annulée
mais comment faire pour se sortir du contrat signé avec le constructeur avec qui nous avions prévu de faire la maison sur ce terrain ?
ils veulent que l'on continue avec eux sinon, on leur doit semble t il 5%.......