"Autorité conjointe" du beau père

Bonjour,
J'ai 2 enfants d'un 1er mariage, en garde alternée. Remariée, je considère que l'autorité sur mes enfants doit être cohérente dans mon "foyer" et mon mari applique donc les mêmes règles que moi avec les enfants. Il lui est arrivé exceptionnellement, comme moi, de leur donner une fessée (3 fois en 2 ans et donc aucunement habituel!). Les enfants ne s'en sont jamais plaints (ils reçoivent de l'amour 99.99% du temps!) mais leur père leur demande toutes les semaines si leur beau père les a fessées!!! Du coup, mon ex mari me menace aujourd'hui de porter plainte via le juge des affaires familiales en disant que l'autorité du beau père s'arrête à la fessée (le beau père peut les punir, et moi je peux leur donner la fessée), que la fessée est illégale, qu'il peut faire écrire de lui interdire et que de toute façon je ne peux pas donner "pouvoir" à mon mari jusqu'à la fessée puisque l'autorité parentale n'est partagée qu'entre le père et la mère.
J'ai beaucoup de mal à comprendre le lien dans toutes ces accusations, mais ma question est de savoir si l'on risque vraiment quelque chose, et surtout si cela peut aller jusqu'à la perte de mes droits sur mes enfants..
Merci de votre aide