Gros problème avec un docteur du travail.

bonjour
je travaille actuellement dans une asso ou tout se passe très bien, j'ai du aller a la visite médicale obligatoire et cela s'est très mal passer avec ce docteur. J'ai du diabète mais n'ai jamais eu aucun problème avec ça, il m'a bien agresser en me disant que si je ne suis pas suivi il me mettait directement en invalidité.
Je devait y retourner mais entre temps je suis aller voir mon docteur traitant et j'ai une ald et je suis suivit pour le diabète. Un an après je retourne a la médecine du travail suite a une convocation, et je retombe sur le même docteur qui des que j'arrive me dis que il ne me déclarera pas apte si je ne lui fournis pas les preuve écrite que je suis bien suivi par un médecin. Apres une discutions ou il me fait bien sentir que c'est lui qui décide, qu'il peux me mettre non apte s'il en a envie, et qu'il sait mieux que moi ce que je ressent je pète un plomb et je l'insulte en prenant ma feuille et je pars. Mon pétage de plombs est surtout du au fait que je l'ai senti se prenant pour un être supérieur pouvant décider de mon avenir. De nos jours trouver un travail est déjà assez complique je bosse 17 h par semaine et mon diabète ne pose aucun problème dans mon travail.
Que puis je faire ? c'est le premier médecin du travail avec qui cela passe aussi mal, ça fait 3 ans que je bosse dans cette asso, j'adore mon travail, tout se passe bien et quelqu'un qui me voit 5 minutes pourrait décider ce qui est bon pour moi ???
Que me conseillez vous ?