Refus modification de la couleur des tuiles

Bonjour,

Nous avons obtenu un permis de construire, lors du dépôt de celui-ci, nous avons omis de modifier la couleur des tuiles. En effet, nous voulions du gris anthracite et sur le permis il s'agissait de tuiles rouges. Nous avons donc demandé un permis modificatif. Celui-ci nous a été refusé au motif qu'il fallait que ce soit conforme avec l'environnement. Sachant qu’alentour il n'y a que des maisons anciennes avec des tuiles dont on ne distingue pas trop la couleur, dû à l'ancienneté.
Par ailleurs, le PLU de la commune ne mentionne en aucun cas cet état de fait et n'exige pas de couleurs spécifique.
A savoir qu'auparavant un permis avait été déjà déposé et accepter avec des tuiles gris/noir.
Monsieur le Maire ne veut pas nous recevoir et reste sur sa position.
Quel recours pouvons nous avoir? et est-ce que Monsieur le Maire à le droit de nous refusé cette modification ?
Merci de vos réponses.