Maison à usage d'habitation sur terrain agricole

Bonjour,
j'ai acheté un batiment en pierre de 200m2 sur une zone agricole. Ce batiment etait l'ancienne habitation du fermier mais par la suite, il a fait construire une maison a coté. Ce monsieur est décédé et les héritiers ont divisés le batiment en pierre avec les hangars et la maison récente en 2 parties. Sur les papiers du notaire nous avons achetés une maison a usage d'habitation avec électricité, eau, téléphone et 2 cheminées. Il manque juste la fosse sceptique. Le notaire en montant son dossier a demandé un CU pour la rénover et le maire à refusé. Il nous raconte que c'est une annexe de la maison récente, et qu'une maison à usage d'habitation doit etre a plus 50 m des hangars car j'ai des fermiers en face. L'agent immo a voulu réunir tout le monde pour un rendez-vous nous, les héritiers propriétaires l'agent immo et le maire qui a accepté au départ et a annulé par la suite. Ni le notaire à compris, ni l'agent immo. Bref nous l'avons quand meme acheté et nous avons relancés le CU qui a été refusé.
Pouvez-vous me dire si il est dans son droit, ce que je peux faire...