Permis modificatif refusé

Bonjour,
voilà mon problème :
nous avons signé un sous-seing pour un terrain en division. Ce terrain avait déjà obtenu un permis de construire pour une maison. Le propriétaire de ce permis de construire n'a pas continué. Nous voulons reprendre le bébé, notre constructeur fait passer un permis modificatif qui nous a été refusé le 27 juillet. Normal, ce n'est pas du tout la même maison.
A ce jour, nous aimerions arrêter l'histoire, mais on nous a fait dire qu'on risquait avoir des problèmes. Nous devons signer l'acte définitif le 30 novembre.
Que peut-il se passer ?

Merci pour toutes vos réponses.