Permis de construire délivré à tort

Bonjour,
Je vous contacte car j'ai un souci avec mon voisin concernant mon carport.
Nous avons fait la demande à la mairie pour le construire en avril et le permis nous a été délivré en juin. Nous avons affiché le permis puis avons commencé les travaux dans la foulée. Sauf que mon voisin a trouvé ça louche et a fait les démarches, dans notre dos, pour savoir s'il était légal (auprès de la mairie). En septembre, nous avons eu un coup de téléphone de la mairie nous informant que notre permis nous a été délivré à tort.

Nous avons eu une confrontation avec la mairie et notre voisin pour voir si nous pouvions nous arranger à l'amiable mais bien sûr ils ne veulent rien entendre. La mairie ayant fait une erreur nous propose le remboursement des frais.

Je voulais savoir : est-ce que nous sommes obligé de le démonter ?
La mairie nous dit que même si nous engageons des poursuites cela pourra prendre des années et au final l'issue sera la même, c'est à dire le démontage.

Merci d'avance. Cordialement.
Laurence