Achat maison avec refus de conformité

Bonjour,
Je vous expose notre situation : nous avons fait une offre d'achat pour une maison, les vendeurs ont fait une contre-offre légèrement augmentée que nous avons acceptée. Le bien est récent (5 ans, encore sous garantie décennale).
La rédaction du compromis de vente a été réalisée par l'agent immobilier (sur sa proposition expresse, "cela ira plus vite"), nous lui avons cependant demandé d'impérativement faire relire ce compromis à notre notaire. Notre notaire nous indique, lors de sa relecture, que le compromis de vente comporte la mention d'un refus de conformité (dont l'agent immobilier ne nous avait pas informé). Après la DAACT déposée par les propriétaires, divers points n'avaient pas été reconnus conformes par la mairie (dont une question de hauteur de clôture ne correspondant pas au PLU), qui a cependant mis plus de 5 mois à le notifier aux propriétaires (délai maximal de 3 mois ?). Les propriétaires ont déposé une déclaration de travaux préalable au cours de la démarche de rédaction du compromis pour régulariser "tous les points sauf celui de la clôture". En effet, après nous avoir dit qu'ils étaient prêts à eux-mêmes la remettre en conformité (en l'abaissant), ils disent désormais le refuser. Ils souhaitent vendre leur maison avec ce point non régularisé et non à leur charge. Quels risques encourt-on à acheter la maison dans ces conditions ? Peut-on nous refuser de futurs travaux (piscine, par exemple) ? Bien que la découverte du refus de conformité ait eu lieu avant la signature du compromis, peut-on renégocier le prix du bien, dans la mesure où nous avons eu connaissance de la non conformité après l'offre d'achat ? Nous conseillez-vous de renégocier avant la signature du compromis ou pendant le délai de rétractation ?
Je précise également que l'agent immobilier nous presse de nous positionner, nous dit qu'il continue de faire visiter la maison et que d'autres personnes sont intéressées. Il dit que les vendeurs craignent que nous ne puissions pas payer (alors que nous leur avons fourni un accord de principe de notre banque). Il dit que nous n'avons qu'à déposer une demande de permis piscine dès maintenant, si nous avons tant peur de ne pas l'obtenir.
Un grand merci pour vos conseils, il s'agit d'un premier achat pour nous, nous ne sommes pas entourés de personnes éclairées sur ces thèmatiques et avons besoin de conseils bienveillants.