Separer/garde bebe 2mois

Bonjour.
Voilà jai un bébé de 2mois et demi que j allaite, je suis séparer depuis la naissance ms en bon terme avec le père pour le moment.
Pr le moment pck jusque la je vais passer les week chez lui et il passe 3fois par semaines. Et auj j'en ai assez de cette situation. Je ne souhaite plus aller chez lui le week et qu'ils vienne aussi svt pdt des heures.. sauf qu'il n'est pas du tt d'accord il me dit que je n'ai pas le droit de l'empêcher de voir l'enfant, qu'il a le droit de le voir autant que moi, que c'est aussi son fils etc. Si je ne vais plus chez lui le week il veut prendre le bébé 1samedi sur 2 et je ne suis pas d'accord je le trouve trop petit.
Que puis je faire ? Suis je en tort si je refuse de lui donner 1samedi sur 2?