Habitation sur un terrain agricole

Bonjour,
Nous possédons une maison qui à l'époque était en terrain constructible et qui aujourd'hui est passé en terrain agricole sur le PLU. La mairie nous indique que ne nous pouvons plus rien faire sur cette maison. Je conçois qu'une extension ne soit pas possible. Cependant nous souhaitons modifier une ouverture sur la façade sans modifier le gabarit de la maison. Pour la mairie c'est un refus, ça me parait sévère, qu'en pensez-vous ? Y a-t-il possibilité de modifier la façade d'une habitation déjà existante sur un terrain agricole ?