Permis de construire

Bonjour, je suis proprietaire d'une parcelle devant ma maison et j'ai déposé un permis de construire pour cloturer cette parcelle ce permis ma était accordé par mon maire et de plus il ma fait un certificat de non opposition alors que j'allai demarrer les travaux le maire met une opposition en explicant un p.u.b car ma parcelle se trouve sur la place de la mairie .
alors je me demande si il en a le droit alors qu'il me la accordé et que maintenant il se retracte que dois je faire et quel sont mes droits alors que tous a été fait legalement .
merci pour vos reponses.