Retirer droits du père?

bonjour,
j'ai un fils de 2 ans , son père l'a reconnu, il porte son nom
nous nous somme séparés lorsqu'il avait 7 mois, c'était ma décision.
Son père ne travaille pas (quelques missions d'intérim de temps en temps) , n'a pas le permis, ne verse aucune pension, n'achète jamais rien pour son fils, on ne fait pas de garde alternée.
depuis notre séparation, je lui propose de venir quand il veut voir son fils, de venir manger avec nous, même dormir si il le souhaite ( car n'avait pas de logement à lui jusque il y a peu), je veux qu'il garde des liens , car je n'ai pas envie que notre séparation se répercute sur notre fils.
mais son père ne fait pas d'effort, il vient rarement le voir, il n'y a rien de régulier!
mon problème: je ne veux surtout pas couper les liens entre eux, mais je me dis que si un jour il m'arrivait quelque chose, son père aurait sa garde comme il l'a reconnu. alors qu'il n'est pas capable selon moi de s'en occuper, alors que depuis sa naissance mes parents m'aident beaucoup, ils le gardent quand j'ai besoin et le voient très régulièrement, d.e plus chez mes parents il a une vie stable contrairement à chez son père.
j'aimerais donc savoir si il est possible de faire quelque chose pour ce genre de situation au cas ou il m'arriverait quelque chose, est il possible que mes parents aient la garde plutôt que le père.
je vous remercie pour vos réponses, cordialement.