Bonsoir
C'est le JAF qui tranchera
Il vous faut prendre un avocat et lui exposer les faits pour qu'il monte votre dossier
Ne jamais dénigrer votre ex.
Soyez factuelle
Mais pour répondre à votre question : oui sur le principe il a des droits en tant que père même si les éléments que vous indiquez ne sont pas en sa faveur
Cordialement