Problème d'annulation de permis de contruire

Bonjour,
il y a 2 ans nous entreprenions un projet de construction de maison. Une mairie vendait un terrain communal qui n'était pas viabilisé mais c'était engagée à le viabiliser pour la vente. Nous avons donc signé un compromis de vente pour le terrain au mois de juin 2010 et fait toutes les démarches pour le permis de construire. La banque ne débloquait les fonds qu'au terme de la viabilisation du terrain, qui tardait de plus en plus. Après plusieurs appels téléphoniques à la mairie pour avoir des explications sur le retard (pas un seul coup de pelle en novembre 2010 sachant que l'on devait signer l'acte définitif au début du mois de décembre 2010 !!!) et à chaque fois un discours du maire pour nous "embobiner", nous disant que tout allait se faire, de ne pas nous inquiéter etc. nous nous impatientions, le géomètre ainsi que le constructeur émettant des doutes sur la fiabilité de la viabilisation, nous doutions de plus en plus de la sincérité de la mairie qui nous informait trop peu de l'avancement (ou non) des travaux... finalement au mois de février 2011 nous décidions d'arrêter notre projet (soit 8 mois après le compromis) car rien n'avait été fait sur le terrain. Nous avons donc fait notre demande d'annulation auprès de la mairie en bonne et due forme, et puis plus de nouvelle jusqu'en octobre 2011 où nous recevions une lettre des finances publiques, nous demandant de nous acquitter de la taxe départementale pour le financement du C.A.U.E et de la taxe départementale pour les espaces naturels sensibles. Nous avons donc appeler la direction générale des finances publiques qui nous dit ne pas avoir reçue l'annulation provenant de la DDE, donc que la mairie n'avait pas fait le nécessaire afin d'annuler notre permis. Elle nous dit qu'elle allait contacter la mairie et lui demander les papiers. De notre coté, nous avons envoyé aux finances publique tous les justificatifs de l'annulation de la demande de construction, ainsi qu'une copie envoyée à la mairie, afin de nous couvrir... et puis de nouveaux plus de nouvelles. Jusqu'au mois de septembre de cette année, où les finances publiques nous réclament de nouveau l'échéance des taxes... Nous rappelons donc la direction des finances, qui trouve notre dossier et qui nous dit qu'il leur manque la pièce administrative justificative de l'annulation du permis provenant de la DDE, qu'elle a, elle aussi essayé de joindre la mairie et laisser des message depuis un an mais en vain... Nous avons (difficilement) repris contact avec la mairie afin de leur demander de faire le nécessaire en envoyant les papiers. Epuisés par cette affaire, nous prenons sur notre temps de travail pour passer les appels téléphoniques. Nous avons dû nous déplacer à la mairie puisqu'elle ne répondait pas au appels téléphoniques, face au maire, je réexplique la situation qui me répond que c'est mon problème et que c'est à moi de le gérer. Nous avons donc d'un côté les finances publiques qui nous disent que la mairie doit faire un arrêté municipal d'annulation de permis à la DDE (ce ne sont peut être pas les bons termes), et de l'autre le maire qui nous dit que c'est à nous d'envoyer les justificatifs nous-mêmes. Nous ne savons plus quoi faire, nous sommes fatigués de ce projet qui n'a pas abouti, qui nous a écoeuré de la construction. quelqu'un sait il ce qu'il faut faire afin de régler cette situation. Désolé pour la longueur du texte et merci pour l'intérêt porté à notre problème.