Besoin d'éclaircissements

Bonjour,
J'ai besoin d'éclaircissements s'il vous plaît, ça va être un peu long mais comme ça vous aurez un maximum de renseignements.
Ma fille 11 mois. Je suis séparée de son père depuis mes 8 mois de grossesse (parce qu'il m'a trompé avec la moitié de nice, qu'il ne s'est jamais investi dans ma grossesse et qu'il est très égoïste, j'ai donc choisi de partir). Le jour de mon accouchement je l'ai laissé venir (après ma rencontre avec bébé). Depuis à chaque fois qu'il a voulu la voir je l'ai laissé venir (j'ai même été jusqu'à emmener mon enfant chez sa mère, ce qui ne s'est pas très bien passé donc depuis je leur ai proposé de se voir dans un jardin ou un lieu neutre mais ils ne veulent pas vraiment donc ne donnent plus de nouvelles depuis 6, 7 mois).
Pour en revenir au père, il venait une fois par semaine puis une fois tous les 15 jours. Il reste une demie heure, parfois moins et a beaucoup de mal à communiquer avec notre enfant. Du coup ils ne se connaissent pas vraiment. Et elle ne veut même pas aller dans ses bras. J'essaie de leur laisser un maximum "d'autonomie" seulement ma fille (qui est très accrochée à moi, puisque je l'allaite toujours à la demande et que l'on pratique le maternage proximal) refuse que je sorte de son champ de vision quand il est là. Je comprends que ce soit difficile pour lui mais il voudrait que je mette mon enfant de force dans ses bras alors qu'elle pleure, que je m'en aille etc et je refuse arguant qu'elle risque de se "braquer" et que ça bloque la situation.
Il dit que je lui gâche la vie, que je le détruis, que je ne veux que lui faire du mal. Que c'est sa fille et qu'il doit pouvoir la prendre avec lui.
Je lui dis qu'il pourra la prendre quand ils seront prêts et qu'il le feront progressivement mais qu'il faut du temps.
J'ai peur qu'il entame une procédure pour avoir un droit de garde voir même de garde alternée et je suis effrayée par ce qui peut arriver à ma fille. Elle est juste pas prête, il n'y a que ma mère qui l'ait gardé et encore moins d'une dizaine de fois et jamais plus de 3 heures. Attention c'est quand même une enfant éveillée, qui va vers les autres (enfin surtout vers les animaux), qui veut tout découvrir, qui est curieuse... Je suis juste son endroit de confiance et de réconfort pour le moment (en même temps que son biberon sur pattes)
Enfin voilà, il fume du cannabis (il voulait même fumer dans la maison alors que j'étais enceinte! Sa mère aussi d'ailleurs!) (Il a l'air de considérer notre enfant comme un objet, sa mère aussi d'ailleurs!) On dirait de l'humour mais c'est véridique aussi...
Donc je voudrai savoir quels sont mes droits? Qu'est ce que je peux faire?
Et enfin si jamais je dois changer de région que peut il se passer?
Merci d'avoir tout lu déjà et merci à ceux qui voudront bien me répondre parce que là, je me sens pas très bien...