Promesse d'achat non conforme : compromis dévoile des travaux non déclarés

Bonjour,

Je vous contacte parce que nous avons signé une promesse de vente pour une maison de 123m2 et 4 chambres.
A la relecture du compromis, nous avons pu constater que le garage attenant à la maison, n'était pas considéré comme étant une suite parentelle.
Après échange avec la notaire, il s'avère que la 4ème chambre (suite parentale) n'a pas été déclarée à l'urbanisme.

Nous sommes au maximum de notre budget, nous ne pourrons pas absorber la taxe d'aménagement et surtout, la promesse de vente n'est pas conforme.
L'agent immobilier n'a pas fait correctement son travail et je l'ai eu au téléphone et il dit que "c'est de l'agrément, pas besoin de déclarer".

Concrètement, quelles sont nos options ?
Nous avons débuté à débloquer nos fonds (PEL cassé), nous nous étions investis et là nous sommes juste abasourdis parce que l'agent immobilier indique qu'aucun effort n'est possible de la part de propriétaire.

Merci de votre aide.