Autorité parentale exclusive

Bonjour,
j'ai une petite fille de 3ans1/2.
son père est incarcéré pour une durée de 5 ans. nous somme séparés depuis quelques mois. ceci est notre choix.
j'ai pris la décision de demander l'autorité parentale exclusive pour des raisons administratives. Il n'est pas question de lui enlever son droit de père. je veux juste que mon quotidien, et surtout celui de ma fille, soit plus facile.
j'ai fait part de ma décision au papa, qui me l'interdit formellement. Il prend tout de haut et ne comprend pas ma décision. il a d'ailleurs déjà vu ses avocats, alors que de mon côté, je n'ai vu personne. bref
je pense qu'il y aura un combat. cela me rend malade mais je fais ça pour ma fille. Je suis seule à l'élever, et ça depuis son premier souffle. je suis seule et je ne me plains pas. la vie est ainsi, mais aujourd'hui je souhaite que cette vie prenne une autre voie.
le papa ne veut plus me voir au parloir. Dorénavant, il veut que je fasse une procuration à sa famille pour les parloirs de notre fille. je m'y oppose pour diverses raisons, qui me sont personnelles. je vais prendre contact avec une association relais parent/enfant.
voilà, tout ceci est très lourd et très pesant. je pensais qu'il comprendrait mais apparemment son égoïsme est plus fort que tout.
je vous remercie de me conseiller.