Contrat de maitrise d'oeuvre

Bonjour, J'ai signé un contrat de maitrise d'oeuvre avec mission complète avec une enveloppe budgétaire de 140000 E ht. Le permis de construire a été déposé et accepté, les appels d'offres lancés. Le MO me communique un devis final avec les différents corps de métiers, pour un montant de plus de 187000 € ht, soit 47000 € de plus que l'enveloppe budgétaire initialement prévue. Ne pouvant m'engager sur un tel montant, je souhaite rompre ce contrat. Il est d'accord mais néanmoins me facture la somme de 5500 € ht pour frais d'honoraires. Pour la mission complète, les honoraires étaient fixés à 12600 €.
Je ne suis pas contre le fait de l'indemniser mais trouve excessif le prix demandé dans la mesure ou je suis contraint, en quelque sorte, d'abandonner mon projet. Quelqu'un a t il vécue une situation similaire et quels conseils pouvez vous m'apporter ? J'ai l'impression d'être pris en otage
Merci de vos témoignage et réponses.