Comment se débarasser d'un associé d'sarl

Bonjour,
Je suis gérant d'une sarl avec mon conjoint (45 % + 7%) soit 52 % à nous deux. Je suis donc gérant majoritaire.
Notre associé detenant 48 % des parts et n'ayant aucune activité dans la société refuse la vente de ses parts.
Nous ne votons jamais de dividendes la société à 3 ans mais nous faisons des bénéfices ?
Notre associé nous menace continuellement de rémunération abusive et d'abus de majorité ne touchant pas de dividendes.
Que puis-je faire pour diminuer au maximum ses possibilités (vouloir gagner de l'argent sur notre dos) ?
Notre avocat nous dit que nous ne pouvons rien faire à part payer et le supporter.
Merci de vos réponses et de votre aide.

Marie-anne