Pacs adultère et violence conjugale

Bonjour,
Voilà ma situation. Mon ami avec qui je suis pacsé et moi même avons décidé de faire un break. Nous avons un bébé ensemble. Après 1 semaine il décide d'arrêter notre relation. Jencaisse tant bien que mal et continue d'être hébergé chez ma mère, le temps de faire le point sur notre séparation. Nous avons acheté une maison ensemble où il vit actuellement. Un matin je rentre chez moi, donc dans notre maison, et découvre une femme dans notre lit. Après une grosse dispute la police arrive et fait sortir la fille. Je précise que nous sommes toujours pacsé et que la maison est à nos deux noms. J'ai porté une main courante pour adultère et porter plainte pour coup car il m'a poussé et frapper pour ne pas que je rentre dans la chambre et j'ai des bleus partout. Notre fille de 18mois a tout vu.
Ma question: que risque t'il ? Suis je dans mon droit de ne demander qu'un droit de visite ? Sachant qu'il fait de la politique et qu'il n'a jamais pris le temps de s'occuper de sa fille.
Merci de votre aide.