Harcelement

Bonjour,
Je me suis séparé du père de mon fils de 3 ans en octobre 2011. Depuis cette date, j'ai toujours autorisé ses appels pour qu'il puisse garder contact avec son fils car il habite a 600-700 km.Je precise que je suis partie du domicile conjugal car il me battait(mais je n'ai jamais porté plainte).Mais à chaque coup de fil, c'est toujours la même histoire, il parle un peu a son fils en ensuite il veut parler, soit pour me menacer soit me crier dessus.Ai- je le droit de ne plus lui répondre? ou au moins qu'il ne parle qu'a son fils?