Ingérence dans le management

Bonjour à tous,
Je suis responsable de service au sein d'un grand projet. Le service, d'une dizaine de personnes, n'est constitué que de prestataires de société de service embauché en CDI chantier. La fin de projet arrivant, nous avons dû commencer à mettre fin à certaines prestations de collaborateurs. Mon superieur a validé la liste des partants que je lui ait soumise et lancer les démarches de rupture des contrats de prestation. J'ai reçu en entretien ensuite chaque collaborateurs concernés pour les informer.
Plusieurs collaborateurs n'ont pas accepté la decision prise et se sont pleins à un des responsables de notre client (responsable qu'ils connaissent en dehors du contexte professionnel). Ils m'ont accusés de favoritisme, profitant que mon épouse fait partie des prestataires restants.
Le client a fait pression sur mon responsable afin de faire partir mon epouse et une autre collaboratrice et réintégrer 2 des personnes que connaît le client. Mon responsable à suivi les demandes du client.
Je me retrouve aujourd'hui avec une équipe ingérable (en clair je n'ai plus d'autorité depuis car mes collaborateurs ont, via leur relation personnelle avec le client, l'impression d'avoir pris le pouvoir). Les objectifs qui me sont fixés sont très ambitieux et je ne pourrait les atteindre avec une équipe qui se la coule douce car se croyant intouchable.
Mon employeur reste sourd à toute les difficultés que je peut éprouver face à cette situation et ne voit pas en quoi il m'a mis dans une situation inconfortable.
Aujourd'hui je me sent piégé et je ne vois pas d'issue. Ma femme qui a vécu ça de l'intérieur est très marqué, cela fait plusieurs moi qu'elle est mise à l'écart par le reste du service. Beaucoup de critiques lui sont adressées dans son dos. Aujourd'hui elle me conseille de démissionner car elle trouve cette situation indigne. J'avoue n'être pas loin de craquer moralement.
Y a t'il d'autres recours qu'une démission pour échapper à tout ça ?

Merci par avance pour le temps consacré.