Achat maison avec extension non conforme

Bonjour,
Nous avons acheté déc 2011 une maison (470 000 euros) dont la construction du garage avait moins de 10 ans ( 2003).
Pour cette achat nous sommes passés par une agence qui a encaissé 20 000 euros et nous nous sommes fait assister par notre notaire différent de celui du vendeur: à noter que dans le compromis de vente il était précisé qu'il n'y avait eu d'assurance garantie' decennale de prise mais celà n'avait pas attiré notre attention .
La vente s'est faite chez le notaire du vendeur ( un de ses "pot" à priori )et ce n'était pas trés professionnel bcp de plaisanteries , l'acte a été lu en diagonale ( à noter que la vente de notre précédente maison 2 heures avant chez notre notaire également notaire de l'acheteur s'est faite d'une manière plus sérieuse ).
L'acte notarié nous est parvenu en Février et confiants nous n'avons pas immédiatement mis le nez dedans.
Nous découvrons qu'il y a bien eu un permis de construire en 2002 pour le garage achevé en 2003 , qu'il n'y a pas eu de certicat de conformité demandé ni d'attestation de fin de travaux. L'analyse du permis de construire précise " la distance d'implantation de 5 mètres minimum par rapport à l'alignement doit impérativement être respectée" or le garage est à 1,5m de notre mur de façade.
nous avons malheureusement signé sans que celà ait été lu pendant la vente que:
"aucune attestement d'achèvement de travaux n'a été déposée en mairie ,que le certificat de conformité n'a pas été obtenu, l'acquéreur déclare avoir pris connaissance et vouloir en faire son affaire personnelle sans recours contre le vendeur".
Nous avons appelé l'agence qui semble surprise et nous conseille de voir notre notaire qui nous a assisté ( mais en disant que c'est pas grave car on ne peut plus nous faire démolir).
la maison a un jardin d'hiver (tranformation du précédent garage qui a du se faire dans la même période avec 2 vélux )pour laquelle je pense qu'il n'y avait pas eu de permis de construire.la maison étant en fond de propriété et non visible de la rue.
C'est juste à la sortie de chez le notaire lorsque j'ai évoqué avec notre vendeur les impôts fonciers que je trouvais peu élevés par rapport à notre ancienne maison qu'il m'a dit que ça devait être en rapport avec le fait qu'il n'avait fait la déclaration d'achèvement des travaux mais là je n'ai pas réalisé l'importance de ce qu'il me disait.
Que doit on faire ?(Laisser en l'état et faire comme si rien n'était)
Que se passera t il si nous revendons dans 10 ans.
Je vois notre notaire la semaine prochaine
- n'y a t il pas un défaut de conseils de sa part?
L'agence que nous avons payée n'est elle pas également responsable?
Merci d'avance pour les conseils et avis compétents