Garde de mon enfant

Bonjour,
Je suis maman d'uje petite fille de 8 ans. Son père la abandonné a l'âge de 2 ans après avoir demander la garde partagé. Il me frappait violamment , se droguais.et , il a fais de la prison pour trafic de stupéfiant, bref quelqu'un de peu fréquentable..
Mais voîla la justice a décidé de lui accordé quand même le droit de visite un week end sur trois accompagné de ses grands parents , et a leur domicile. Je n'ais jamais empéché ma fille de voir son père malgré tout, mais il a décidé de l'abandonné en ne laissant plus de nouvelles.
Depuis je n'ais jamais recu de pension alimentaire.
Je me suis marié depuis peu , et je viens d'avoir un deuxième enfant .Ma fille ne veu pas entendre parlé de son père paternel et voudrai porter le nom de mon mari.
La caf nous a appelé dernierement pour nous dire qu'il allais lui demander tout es les arrièré des pension alimentaire qu'il nous a jamais versé.
Cela nous fais peur puisqu'il risquerai de vouloir revoir sa fille qui est par moment très perturbé a cause de ca.Pour nous ce n'est pas une question d'argent , et nous aimerions qu'il accepte d'abandonné ses droit paternel en échange de cette somme.
Es ce possible, et si oui comment nous y prendre?