Refuser une visite du service d'hygiène

Bonjour,

Depuis 3 ans que j'ai emménagé, mes voisins ne cessent de me harceler. Dix jours après mon arrivée, le propriétaire frappait déjà à ma porte pour me dire que ces gens se plaignaient. Je ne suis pas la première à subir leur haine, mais mes prédécesseurs avaient la chance d'être propriétaires. 

Une de leur méthode consiste à m'envoyer différents organismes, comme le service d'hygiène, qui est déjà venu chez moi à deux reprises l'année dernière. J'avais accepté leur visite afin de prouver ma bonne foi et, en effet, les agents avaient pu constater que ni mon appartement ni moi-même ne correspondions à la description faite par les voisins. Cependant, suite à une nouvelle "dénonciation" des mêmes personnes, le service d'hygiène veut revenir chez moi. Ayant trouvé du travail entre temps, je ne souhaite pas prendre un congé pour satisfaire au délire de deux harceleurs et il n'est pas question de me faire représenter. D'ailleurs, le principe même d'accepter une nouvelle visite n'est odieux. J'ai demandé à l'agent de service d'hygiène ce qui empêcherait mes voisins de revenir à la charge dans deux mois :rien. Ainsi, si ces gens vont se plaindre tous les mois, il faudra que j'accepte à chaque fois d'ouvrir ma porte. 

Qu'elles seraient les conséquences si je refusais la visite ? 

Merci.