Cu refusé pour une grange où l'on souhaite un changement de dest

Bonjour,
Je suis agriculteur et souhaite acquérir des terres avec un bâti. Actuellement il s'agit d'une grange. D'autres personnes également intéressées par ce produit on fait une demande de cu dans l'optique de transformer cette grange en habitation. Le cu est refusé parce que la grange n'a jamais eu de partie habitation....Ai je une chance d'avoir une autre réponse en tant qu'agriculteur ? Ya t'il des recours?