Droits du père déclaré mais non biologique

Bonjour,
je suis divorcé depuis deux j ai rencontré mon ex femme qui était déja enceinte de deux mois j ai reconnu l enfant comme le mien qui porte mon nom je l ai élevé. Maintenant il a 9 ans et j aimerais savoir si un jour la mère avec qui je ne m entends plus du tout peut m enlever mon droit de père et changer le nom de mon enfant. Le juge a décidé une garde alternée une semaine sur deux et une pension tous les mois ce qui me convient mais j ai peur qu on me fasse faire un test de paternité pour m enlever mon enfant