Vente absence de bilan assainissement

Bonjour,

Pour résumer la situation, nous avons signé le compromis de vente d'une maison en Février 2011 alors que le diagnostic n'avait pas été fait. Lorsque nous avons reçu le diagnostic assainissement il y a 3 semaines, nous nous sommes rendu compte que l'assainissement n'est pas conforme et nécessite des travaux très couteux. En effet, les eaux de la cuisine sont directement rejetés dans un ruisseau en contre-bas. Nous avons alors essayé de renégocier la vente avec l'agent immobilier et les propriétaires actuels. Aucun accord n'ayant été trouvé entre les parties, nous avons décidé de casser la vente en pensant d'après la loi qu'il y avait eu un vice caché concernant l'assainissement.
Nous voulons maintenant récupérer l'acompte de 4000euros versé sur compte séquestre lors du compromis. Hors le notaire des propriétaires actuels refuse invoquant que notre raison de casser la vente n'est pas valable.
Qui a raison? Y a t-il effectivement un vice caché? Peut-on nous reprocher d'avoir signer le compromis sans diagnostic assainissement?

Merci d'avance pour vos réponses