Autorisation de pénétrer sur ma propriété

Bonjour,

Un des membres de la commune (responsable de l'urbanisme), et peut-être le maire de la commune veulent venir sur ma propriété, vérifier des "dénonciations" calomnieuses et diffamatoires d'un voisin avec lequel j'ai beaucoup de problèmes. Je n'ai rien à me reprocher puisque le maire m'a autorisé des déclarations préalables. Mais est-ce que j'ai le droit d'y refuser l'accès à ma propriété ?