Demande de conseil

Bonjour,
J'aimerais avoir votre aide.
Voici mon histoire:
Mon ex conjoint est parti de la maison quand notre bébé avait 3mois et ne venais pas le voir souvant; puis il est revenu après 10 mois d'absence pour rester 2mois et repartir. Il ne vient le voir que quand ça lui arrange (soit 3/4 jours de suite soit ne pas venir de 15jours). À l'heure d'aujourd'hui, quand il vient et que bébé (de 21mois) s'affirme ou râle un peu, il s'énerve en criant dessus (a meme passe ses nerfs sur une caisse de jeux) sans chercher à comprendre le pourquoi du comment. Et là, il veut le prendre car selon lui, je n'y connais rien en éducation et c'est pour ça que bébé fait des caprices.
Bref, si vous pouvez me donner des conseils car là j'ai le moral au plus bas. Sachan que je ne refuse en rien qu'il vienne voir bébé mais que je refuse totalement qu'il le prenne une journée ou à dormir. Je ne peux pas faire confiance à une personne comme ça.
Merci