Vice-caché découvert chez le notaire

Bonjour,
Nous avions rendez-vous ce matin chez le notaire pour valider l'acquisition d'une maison. Hors celui-ci nous annonce qu'il existe une servitude sur l'allée principale de la maison, servitude qui ne figure pas sur le compromis de vente. Cette nouvelle change complètement l'intérêt que nous portons pour ce bien, si nous l'avions su lors de la visite nous n'aurions même pas fait d'offre. Nous avons donc refusé de signé chez le notaire. Que risquent-on? Devrons-nous payer des indemnité au vendeur ou est-ce a lui de nous en verser pour ce préjudice? Les vendeurs étaient au courant de cette servitude et avait tout simplement oublier de le préciser à l'agence immobilière qui s'occupait de vendre leur bien (bien en vente depuis 4ans, ils avait tout le temps de s'en rappeler). Cela fait-il parti de vices-cachés et est-ce que cette raison est considéré comme suffisante pour annulé la vente sans pénalité.