Annuler compromis de vente ?

Bonjour,

Je vous présente en quelques lignes mon problème :
Mon conjoint et moi-même avons signé un compromis de vente fin mai 2014 pour une maison mitoyenne. La signature de l'Acte de vente est prévue le 25 septembre.
Nous sommes passés par une agence immobilière.
Le 21 aout, alors que nous avions RDV devant la maison avec un entrepreneur pour prévoir les futurs travaux, nous avons découvert qu'un permis de démolition et de reconstruction avait été apposé sur la maison mitoyenne de droite (les maisons sont mitoyennes par le garage(notre maison - garage du voisin mitoyen - maison du voisin) ) le 11 juillet 2014- personne ne nous a avisé.
Nous n'avons jamais été informé de cet élément, ni par l'agence, ni par le Vendeur. Ce nouvel élément remet en question notre achat, s'il avait été porté à notre connaissance nous n'aurions jamais fait d'offre sur cette maison !
Nous avons déjà versé 13'000 € au Notaire, réservé une cuisine et un poêle ( 1950 € et 300 € d'arrhes) et nous avons aussi donné notre congé de notre actuelle location et inscrit notre fille dans la nouvelle École.
Mes questions :
- Le Vendeur et l'Agence nous ont-ils dissimulés cet élément ? le voisin qui entreprend les travaux a-t-il eu l'obligation avant de déposer le permis de construire d'informer le Vendeur ?
- Pouvons-nous casser le compromis de Vente et récupérer les 13'000 € ?

Nous sommes désespérés, merci pour votre aide.