PC non valide .faire détruire? Refuser propriété?

Bonjour,
Propriétaire unique d'un terrain et de ma maison principale nous avons fait construire sur ce même terrain une petite maison.
C'est mon mari (contrat de séparation de biens) qui a déposé le permis à son nom et sans aucune autorisation écrite de ma part.
je rappelle que j'etais proprietaire de la propriété initiale avant le mariage.
Aujourd'hui , en plein divorce il me réclame la valeur de cette petite maison alors que je n'ai aucun moyens financiers et que lui a de très bons revenus.
Avant d'être obligée de vendre ma maison pour rembourser ce qu'il estime avoir versé dans la petite maison je m'interroge sur les conséquences de la non validité du permis de construire. Car il a attesté par écrit a l'urbanisme pouvoir être demandeur de cette demande alors qu'il ne remplit aucun des 4 critères.
Pourrais je contester ce permis et en demander la démolition , à ses frais, afin de me libérer de cette créance?
Ou en tout cas, affirmer que je ne suis pas à l'origine de ce permis et de cette construction et que donc je considère cela comme un cadeau de sa part?
Merci de vos éclaircissements.
Fragola