Annuler l'achat d'un appartement loi scellier

Bonjour, Nous sommes en train d'acheter un appartement au norme BBC, pour de la défiscalisation, loi scellier.
Nous avons signé une promesse de vente il y a un an environ et les travaux de construction devaient commencer en Mai 2O11.
A ce jour rien n'a commencé et nous avons reçu hier pour la première fois un courrier du notaire expliquant pourquoi il y avait tant de retard, à savoir à cause d'un litige avec un riverain, chose qui, je le répète, nous a été signalé qu'hier.
Niveau banque nous avons déjà signé et renvoyé l'offre de prêt.
Nous voulons savoir s'il nous est possible d'annuler cet achat, vu les retard et le manque d'information en notre possession lors de la signature de la promesse de vente.
Cordialement.