Permis de construire bâtiment agricole

Bonjour,

Nous avons déposé auprès de la mairieun permis de construire pour un bâtiment d'élevage et une fromagerie.
Ce dernier a été accepté etnous avons reçu l'arrêté début Février : nous avons posé notre panneau de chantier début Avril.
Aujourd'hui,un voisin semble contesté notre permis car ses arguments sont que ce bâtiment va dévaloriser ses biens et créer des nuisances.
Je tien àindiquer que ous sommes dans un hameau et que nousavons retiré notre bâtiment au maximumdes habitations des tiers(minimum 80 m) : la loi indique une distance minimum de 50m.
Aussi,la ferme que nous reprennons a connu des activités agricoles (élevage de chèvres,vaches, moutons....) et les batiments existants où se situé les animaux étaient plus proches qu'à l'heure actuelle ( à seulement 10m de sa maison).
Nous avons implanté notre bâtiments pour éviter toutes nuisances pour nos voisins : de chez lui, ce dernier ne verra même pas notre bâtiment.
Donc ma question est simple : que peut-il faire contre nous ?

Encore merci pour votre réponse.

Cordialement.