Victime d'un mensonge par omission lors de l'achat d'un bien

Bonjour,
nous avons signé un compromis de vente pour l'achat d'une maison.
avant cela, lors d'une visite,le vendeur nous a signalé qu'il y aurait peut être une construction de 2 garages mais rien de sur sur le terrain adjacent . Nous avons fait le tour du quartier à la recherche d'un panneau de déclaration de travaux, mais nous n'avons rien trouvé. Nous nous sommes déplacés à la mairie en demandant si un projet était en cours sur la parcelle. la mairie nous a répondu que rien n'était prévu mais seulement oralement. nous avons donc signé notre compromis sans méfiance où il était écrit "construction sur la parcelle adjacente". le jour de la vente , nous avons appris par un voisin que le projet sur cette parcelle n'était pas un garage mais une maison R+2. Pour le prouver , il nous a découvert le panneau de déclaration caché derrière des vegetaux en place depuis 1 an. nous avons rompu la vente. le vendeur nous réclame 44000 euros de dédommagement. Nous avons laissé en sequestre 20500 euros. Que pouvons nous faire pour prouver notre bonne fois et eviter de payer?