Permis de construire non conforme au compromis

Bonjour,

Je suis à un mois de signer chez le notaire pour l'acquisition d'une petite maison située sur une parcelle non constructible dans une zone naturelle du 95. Sur le compromis de vente que j'ai signé avec l'agence immobilière, il est stipulé, dans la désignation du bien :
"Une maison de plain pied dite construction légère, comprenant : patio, séjour, salon, cuisine équipée et aménagée, 2 chambres, salle de bain, wc sanibroyeur, garage, abris de jardin l'ensemble cadastré section n° XXXXX pour 955 m2.
Eau par puits, électricité. Précision est ici faite que cette construction a fait l'objet d'un permis de construire, suivant arrêté de M. le Maire en date du 18 mai 1960.
L'attention de l'acquéreur est particulièrement attirée sur la situation du terrain en zone naturelle à laquelle n'est affecté aucun coefficient d'occupation des sols donc inconstructible.
Cette situation pourrait faire obstacle à toute possibilité d'agrandissement, de modification ou de changement d'affectation, ainsi qu'éventuellement à toute reconstruction en cas de sinistre, ce dont l'acquéreur déclare avoir parfaite connaissance et faire son affaire personnel"
Or, pour un désaccord avec le vendeur sur la mise aux normes de l'assainissement individuel, je me suis rendue à la mairie qui m'a parlé d'un souci par rapport au permis de construire. Celui ci précise que ce permis a été accordé pour un abris de jardin
et qu'il sera interdit à l'habitation de jour comme de nuit.
Je souhaiterai me retirer de la vente car j'estime que le compromis de vente laisse à penser que le permis de construire correspond au bien décrit dans la désignation du bien alors qu'en fait il n'en ai rien.
Est ce que je peux récupérer les 7% d'acompte que j'ai versé sans perte financière?
Est ce que je peux me retourner contre quelqu'un (agence immobilière, vendeurs, notaire..) afin de demander une compensation financière car j'ai un peu l'impression qu'on a voulu m'escroquer.
Si vous avez des réponses et vous savez quelles démarches je dois effectuer merci de me répondre.
Merci d'avance.