Annuler la promesse de vented une maison

Bonjour,
avec mon époux nous avons signé une promesse de vente d un local commercial (ancien restaurant) pour en faire une maison d habitation seulement lorsque nous avons fais la demande de changement de destination celui-ci nous a été refusé. Peut on annuler la vente du coup sachant que c etait une des clubs suspensives?Doit on quelque chose au vendeur