Contestation permis de construire

Bonjour,
nous avons obtenu un permis de construire pour un hangar agricole avec panneaux photovoltaiques mais nous avons oublié de mettre le panneau d'affichage.Depuis, c'est fait mais le voisin 50 m à peu près, veut vendre sa maison et veut annuler notre permis.Les fondations sont déja faites malheureusement et nous lui expliquons que l'on ne peut changer l'emplacement et que ça ne lui bouche pas sa vue car le hangar se trouvera au nord ouest de sa maison qui n'a des ouvertures (grand balcon couvert)qu'au sud ,il ne veut pas en démordre. Sachant que lui vient seulement d'obtenir son permis de construire car il avait construit sa maison il y a une vingtaine d'années sans permis et sans nous demander notre avis.