Puis-je annuler mon compromis de vente?

Salut à tous ,je vous demande de l'aide suite à des soucis après la signature d'un compromis de vente d'un terrain où nous devions faire construire une maison avec combles emménageables avec plan non définitivement signé.Le souci à l'heure actuelle c'est que le constructeur nous dit aujourd'hui que seul une construction différente de celle étudiée en plan est possible par rapport au relief du terrain à savoir une sorte de loft avec chambres en bas qui donnent sur le jardin au lieu des chambres en haut(combles emménageables) ce qui pour moi n'est pas concevable!!Nous sommes encore dans les délais de rétractation légaux mais le notaire nous a expliqué en des termes juridiques que si nous annulions nous serons redevables d'une certaine somme et que ce terrain ne répondait pas au délai légal de 7 jours (soit disant car c'est un certain type de lotissement)et nous n'avons rien reçu en recommandé(cela m'avait beaucoup surpris mais bon tout avait l'air de nous plaire ...)
Voilà donc mes questions :Puis-je annuler ce compromis sans aucun frais avant la date légale de rétractation?
Sinon combien me couterait l'annulation?
Puis-je demander au constructeur de gonfler le prix de la construction pour etre sur que le pret soit refusé et rendre donc le compromis caduque.?
Merci de m'aider le délai de rétractation se finissant mardi j'espère grace à vous savoir à l'avance mes options pour négocier au mieux mes intérets avec le constructeur !!! Merci encore ,salutations...Sylvain