Nuisances visuelles suite à projet (pas de droit de passage)

Bonjour,
Je suis l'heureux propriétaire d'une maison depuis 12/2012. Sur le devant de la façade j'ai un bout de terrain qui est délimité par un pignon faisant parti de la maison du voisin (résidence secondaire) Il existe un droit de passage pour l'entretien de celui-ci (indiqué sur l'acte notarié)
Mon terrain continu sur la partie droite de la façade et est délimité perpendiculairement par deux ruines appartenant à mon voisin Pour la première, la toiture est tombée depuis belle lurette, la végétation a repris le dessus et les murs sont partiellement tombés.
Pour l'autre ruine Le pignon est totalement affaissé et risque de s'écrouler d'un jour à l'autre, le linteau en granite est cassé en deux, la toiture est écroulée sur au moins 30 % de la surface, pannes et chevrons sont à terre, tous les murs prennent l'eau.
Pour cette dernière mon voisin qui est Médecin à l'intention de la rénover pour en faire une chambre pour amis, sachant qu'initialement il s'agissait d'une ancienne grange sans fenêtre et avec seulement une porte.
Cette porte débouche sur mon terrain (vis à vis sur ma terrasse) et l'acte notarial ne mentionne pas de droit de passage
Mes question : A-t' il le droit de réhabiliter cette ruine sachant par ailleurs que nous sommes en zone agricole. Dans l'affirmative quelle est l'instance qui autoriserait ses travaux, le Maire la Région ? Apparemment mon voisin passe outre mes interrogations. Compte tenu du contexte ai-je la possibilité de bloquer l'éventuel dossier (changement d'affectation)
PS : Ce zonage date de 1982 date du remembrement.
Je vous remercie par avance pour vos réponses
Bien cordialement
Laurent