Servitude cachée

Bonjour,
Nous avons signé au nom d'une SCI, un compromis de vente en date du 6 septembre 2008 pour l'acquisition d'un bien composé d'une maison de 140m² et d'un terrain de 761m² en plein bourg. Cet acquisition a été réalisé auprès d'une agence immobilière.Nous avions le projet de réaliser une construction locative sur ce terrain en limite de propriété et d'utilisé la maison en 2 locatifs.
Après acceptation de notre prêt, nous sommes conviés à signer devant notaire cette acquisition le 17/12/08.
Le jour de la signature devant notaire, celui-ci nous informe qu'une servitude de passage de canalisation a été donné à l'habitation située sur la parcelle à l'arrière du terrain pour l'évacuation des eaux usées, eaux pluviales et eau potable, en 2005. Cette servitude se situe à 1, 50 de la limite de propriété et à une profondeur de 0,80ml.
Le passage de cette canalisation diminue l'utilisation du terrain sur 3ml en limite de propriété et toute possibilité de construction.
Lors du compromis dans les conditions générales, l'article I-3 Sur les servitudes et l'Urbanisme stipule :" Que les biens, objets des présentes, ne sont à connaissance grevés d'aucune servitude autre que celles résultant de la situation naturelle des lieux, du plan d'aménagement et d'urbanisme et de la loi en général, les questions d'urbanisme faisant ci-dessous l'objet d'une condition suspensive."
Article V -Conditions suspensives : Outre les éventuelles conditions suspensives d'obtention de prêts, les parties soumettes formellement la réalisation de la vente aux conditions suspensives,stipulées au seul profit de l'acquéreur, lequel pourra toujours y renoncer : 1- Urbanisme : "Que la note de renseignements d'urbanisme ne révèle aucune servitude ou charge quelconque rendant l'immeuble impropre à sa destination normalement prévisible. A ce sujet, il est précisé que le seul alignement ne sera pas considéré comme une condition suspensive, à moins qu'il ne rende l'immeuble impropre à sa destination."
Nous n'avons pas signé d'acte devant le notaire et avons annulé la vente verbalement le jour du rendez-vous devant notaire.
A ce jour on nous demande de Régler au vendeur 1O% de valeur du bien (120000€) soit 12000€. Ils ont voulu trouver un accord à l'amiable et nous inciter à payer 6000€. L'annulation à ce jour est toujours verbale
Peut on se retourner contre le notaire, ou l'agence, Que doit on faire? Le bien a été remis en vente. Quels sont les risques?