Avoir l autorité parentale complète

Bonjour, Je suis maman de deux enfants. Nous nous sommes séparés leur père et moi depuis 4 ans. Il y a eu un jugement en 2007 stipulant que les enfants devaient aller chez leur père un week end sur 2. Celui ci ne les a quasi pas pris pendant trois ans et demi p(perturbant surtout mon fils pour qui la séparation a été plus dure). Mais depuis quelques mois, il les reprend faisant valoir ses droits paternels. Il est censé me les ramener à 17 h mais arrive toujours en retard, les devoirs non faits... Mon fils ne veut plus y retourner mais que faire? Est ce que je peux lui interdire de voir les enfants... Est ce qu'au niveau juridique, il y a un moyen de récupérer l'autorité complète... Aidez moi svp merci