Permis de Construire dans lotissement

Bonjour,
Lors de la réalisation d'un lotissement dans une zone NA c. Un entrepreneur a inclus nos terrains dans le projet sans notre autorisation, pour atteindre les 5000m2 imposé pour toute réalisation. Les années sont passées et je réalise donc une demande de CU. Cette dernière m'a été refusé sous prétexte que je n'arrive pas au fameux 5000m2.
Je prétexte alors que les parcelles étaient intégrées au lotissement. La municipalité me rétorque que c'est trop tard car le permis de construire a plus de trois ans, et que de plus le projet actuel ne cadre pas avec ce qui a été déposé lors de la réalisation du lotissement.
Puis je consulter ce projet? Et quels sont les recours possibles?
Merci de votre aide.
Cordialement