Bien vendu sans Permis construire

Bonjour,
nous sommes actuellement propriétaire d'un appartement situé dans les combles d'un immeuble. Lorsque nous l'avons acheté il avait déjà été tranformé en appartement ; hormis la couleur des peintures et l'achat d'une cuisine neuve, nous n'avons rien transformé.
Mais après avoir signé une promesse de vente, le notaire s'est aperçu que cet appartement n'avait jamais fait l'objet de declaration de travaux ou de demande de permis étant donné que la destination du bien avait été modifiée. De ce fait, la vente est retardée et risque peut être d'être annulée.
Pourtant nous avons toujours payé les taxes foncières et d'habitation ainsi que les charges liées à l'eau et l'electricité.
De surcroit, le dit immeuble a bien fait l'objet d'une modification en ce qui concerne sa division, et ce bien avant d'être propriétaire de cet appartement. Il est considéré comme le lot n°5 , je cite l'acte notarié " initialement combles, depuis aménagé en appartement comprenant :sejour, cuisine, 2 chambres et une SB. Avec les 100 millièmes de la propriété du sol et des parties communes".
Notre notaire nous a conseillé de régulariser la situation en déposant une demande de permis (qui va forcément engendrer des couts qui n'étaient pas prévus comme par exemple la TLE) ; le fait étant que sans régularisation notre bien ne pourra être vendu.
Est il possible de se retourner contre l'ancien propriétaire? l'ancien notaire ?
l'agence immo avec laquelle nous avions conclu la vente?
que pouvons nous faire?
Merci par avance.