Propriétaire limite heure ouverture du Resto

Bonjour,
Nous avions trouvé en 2009 un local commercial (bureau) que l'OPHLM (propriétaire) nous propose à la location.
N'étant pas aux normes pour de la restauration, l'OPHLM propose de prendre en charge une partie des travaux de mise aux normes.
L'OPHLM nous fait 2 Baux précaires de 6 mois.
Nos travaux et investissements se font en même temps que ceux de l'OPHLM durant ces 2 x 6 mois.
L'OPHLM nous "pousse" à inaugurer dès que possible, juste après la fin du 2ème Bail précaire et le Président de cet organisme nous annonce le jour même de l'inauguration et en public que nous serons obligé de fermer à 20H pour "ne pas déranger le voisinage".
On s'insurge, mais ce Président est aussi le Maire de la ville et on nous explique qu'il vaut mieux l'avoir avec nous que contre nous si on veut éviter beaucoup de tracasserie (contrôle hygiène à répétition devant la clientèle, harcèlement administratif etc...) et que certainement après 3 ou 4 mois il changera d'avis si nous ne faisons pas de vague.
De plus il nous fait dire que si nous ne sommes pas contents, nous pouvons "dégager"!

Alors nous signons à contre-coeur le Bail commercial 3/6/9 où une phrase mentionne comme ceci:
"Notons que d'après un courrier reçu par la société xxx en date du xx/xx/xxxx - jour de l'inauguration- la fermeture devra se faire tout les jours à 20h".

Une sorte de cheveux sur la soupe.

Après bientôt 2 ans, 2 demande de changement d'horaire de notre part et même une pétition en notre faveur de près d'un tiers des locataires de la résidence HLM où nous sommes, le Président refuse toujours au motif que "pour la tranquilité de la résidence, il ne peut accepter de changer l'horaire".
Alors que même la Police Municipale (qui nous surveille) nous a avoué que JAMAIS notre restaurant n'avait posé un quelconque problème, tout les locataires nous trouve très discrets etc.
Donc aucune plainte, aucun courriers contre nous, rien d'objectif... que du subjectif et nous qui continuons à perdre environ 45% de notre CA.

On nous dit que c'est "mort" car nous avons signé en connaissance de cause...

Mais quand même, n'y-t-il pas un moyen de faire annuler cette clause qui nous handicape et met en péril notre commerce?

Il n'y a aucune crêche, maternelle, hospice, maison de retraite, usine chimique etc aux alentours.
Le tissu économique local ne justifie en rien cette limitation et notre rue fait même partie d'un plan de re-dynamisation lancé par la Mairie...

Au contraire il y a un café avec licence 4 (nous n'avons même pas de licence 4) juste en face à 10 mètres qui lui dérange parfois... et d'autre restaurant qui loue au même organisme dans d'autre de ses résidences ferment à plus de 23h.

Aidez-nous s'il vous plaît, si un Avocat ou autre sait vraiment aider sur un tel dossier, qu'il nous contacte svp car sinon c'est la faillite assurée et la perte des économies d'une vie d'ici l'été.