Modification destination dependance agricole en logement, litige

bonjour
ayant hérité d'une ancienne ferme avec 8000m2 de terrain plus des dependances
nous pensions aménager ces dernieres en logement
bien qu'en "quasi" centre ville ces terrains sont considérés agricoles et les dépendances ( autrefois des granges) construites en briques et beton sont là depuis pres de 80ans.
la ville evidemment s'est agrandit autour depuis
ces granges etaient alors considérées comme des servitudes agricoles

dans notre esprit nous ne modifierions en rien l'aspect extérieur du batiment et n'augmenterions en rien les contraintes sur les voieries ou chemin mitoyen existant

la 1ere démarche serait de modifier la destination du batiment de agricole à logement
sauf que d'après le PLU, ce n'est pas possible car le batiment est trop proche de la route et d'un chemin mitoyen
dans la mesure où notre batiment est en dur, existant depuis 80ans et sans augmentation des nuisances ou contraintes ??? est il possible d'avoir un recours afin d'aménager cette longère?
faut il passer par un avocat? la mairie s'en tient betement au PLU
on nous dit en gros de tout detruire...