Quitter une sarl

Bonjour,
Je suis en co-gérance d'une sarl à 50/50,c'est une boulangerie. Étant moi boulanger je me suis associé avec un pâtissier, que je pensais être un bon copain. Or il m'a laché 2 mois après l'ouverture au moment des fêtes de fin d'année. Je voudrais racheter ses parts mais il ne souhaite pas les vendre, il compte rester chez lui à rien faire et récupérer des bénéfices chaques années. Je suis arrivé à un stade où je ne veux plus travailler comme un fou seul et lui donner la moitié de l'argent. Donc j'aimerais savoir ce que je risque si je décide de ne plus aller travailler moi même ? Comment ça va se passer ? Cordialement dans l'attente de votre réponse