Permis de construire piscine

Bonjour,
Nous avons acheté une maison avec piscine il y a deux ans.
Lors de la signature de l'acte de vente, la notaire nous avait reçu, mon compagnon et moi-même, en aparté, pour nous faire état de plusieurs soucis administratifs liés au manque de rigueur de la part des anciens propriétaires.
Et notamment l'absence de dépôt de permis de construire pour la piscine, le local technique et le Pool house. Elle nous avait expliqué qu'à l'époque de la construction de la piscine le dépôt d'un permis de construire n'était pas obligatoire et qu'il y avait en quelque sorte "prescription". Que la mairie ne pouvait pas nous réclamer quoi que ce soit.

Or aujourd'hui, les services des impôts nous demandent une régularisation de la situation.
Le service urbanisme nous propose de remplir un dossier de déclaration préalable pour la piscine mais ceci nous coûterait au moins 500 euros.
Ce même service de l'urbanisme nous a indiqué que la notaire aurait dû demander aux anciens propriétaires de régulariser la situation et de fournir une attestation.
Cela n'a pas été le cas.
Quel recours avons-nous ? Est-ce aux anciens propriétaires de régulariser ?
Je vous remercie