Question pour la garde pour mon fils

Bonjour, ma femme me trompe depuis quelques mois... on a un fils qui va avoir bientot 3 ans c'est d'ailleurs mon fils qui m'a mit la puce a l'oreille car ma conjointe et son amant ne se cacher pas devant mon fils et lui me parler souvent de ce fameux gars (un collegue a ma femme). voila on etait pacsé. ca fait juste 2 ans que l'on a acheter une maison a renover... elle travaille en restauration donc je m'occupe de mon fils pratiquement tout le temps.
elle est d'accord pour une garde alternée moi aussi sauf que je me suis toujours occuper de mon fils et ne pas le voir pendant 1 semaine je vais trouver trop dur.
dois je reclamer la garde? sachant qu'elle delaisse quand meme son fils