Refus de transformation d’un bâtiment agricole en maison

Bonjour nous avons racheté à ma belle famillle une ancienne étable située en zone N dans le but de la transformer en maison d’habitation.
Notre architecte s’est informé auprès de la Mairie de la faisabilité avant même la signature du compromis, le maire lui a transmis le PLU de sa commune nous remplissions toutes les conditions pour effectuer cette transformation. Je précise que cette transformation née comprenait aucun extension, aucune surélévation et respectait l’existant.
Le maire a transmis le même document à notre notaire (ce document figure dans notre acte de vente)...manque de chance pour nous signature de l’achat début 2017 ...mais au moment où notre architecte allait déposé le PC il s’est avéré que la loi avait changé, le maire l’ignorait mais il nous a quand même refusé le permis de construire.
Nous avons fait un recours gracieux sans résultat que faire pour éviter la lourdeur d’un recours au tribunal administratif
Merci pour votre aide ou conseils