Fermeture loggia par les anciens proprietaire

Bonjour,
J'ai acheté en Novembre 2010 un appartement avec mon amie. Le jour de la signature de l'acte, le notaire nous a informé que la fermeture de la loggia de l'appartement (de 5 m2) avait été effectué sans autorisation de la copropriété. Argumentant que cela avait été fait en 2005 (j'ai la facture), il nous a certifié qu'il n'y aurai aucun problème et qu'on pouvait difficilement nous la faire enlever.
La copropriété, lors de la prochaine AG qui aura lieu la semiane prochaine, va voter des poursuites judiciaires contre nous, et veut nous faire ré-ouvrir la loggia de l'appartement (qui selon eux modifie l'aspect esthétique de l'immeuble). La fermeture avait été faite par l'ancien propriétaire, en installant une simple baie vitrée sur la partie privative (à environ 40 cm à l'intérieur du mur extérieur / facade). D'une part cela ne change rien à l'esthétique, personne ne s'est d'ailleurs rendu compte ni plaint de cette installation avant, d'autre part plusieurs propriétaires de la résidence ont installé des pare-vents, volets, climatisations, et autres sur leur loggia ou terrasse sans aucune autorisation.
Je me demande ce que je risque, cela me couterai beaucoup de modifier cette loggia et je compte me défendre.
Pouvez-vous me conseiller?
D'avance je vous remercie.