Séparation

Bonjour,
suite à une séparation mon compagnon a quitté le domicile le 18 décembre pour se mettre en couple avec une personne qu'il ne connaissait pas avant le 17 .... Nous avons tout 2 une fille de 3 mois. Je lui ai proposé de venir lui rendre visite le mercredi après midi de 14h00 à 17h00. Mais monsieur n'est pas venu sous prétexte que je l'ai menacé de son retard. Je suis allé voir un avocat pour tout mettre en place sachant que lui-même ne s'occupe de rien et que sa mère "prend" les dispositions. Il m'a fait une attestation m'indiquant qu'il a bien quitté le logement. Sa mère lui avait interdit lui conseillant même de venir quand bon lui semble. Il est alcoolique et violent, m'a frappé lorsque j'étais enceinte, mais je n'ai jamais porté plainte. Quel recours puis-je avoir pour qu'il n'est qu'un droit de visite pour notre fille ? Merci d'avance.