Droit de visite : peut-il imposer l'heure ?

Bonjour,

J'ai divorcé il y a 4 ans, nous avions fait une conciliation mais notre avocat commun a négligé quelques informations essentielles, comme l'heure de récupération ou de dépôt de notre enfant.

Pour info :
- c'est le père qui m'a demandé d'en avoir la garde, lui n'a souhaité qu'un droit de visite !
- l'an dernier, il a voulu même réduire son droit. Nous avions été donc une nouvelle fois devant le juge. j'avais accepté de garder encore plus notre enfant sans compensation, je le précise ! car le bien-être de l'enfant prime à mes yeux !

Aujourd'hui, car le père est capricieux pour plusieurs raisons (notamment car il n'accepte pas mon refus de permuter un WE puisqu'il ne voulait pas de l'enfant ce WE là alors que mon planning respectait 1 WE sur 2), veut modifier l'heure quand il me ramène ou récupère notre enfant à mon domicile.
Sans notification précise, c'était 18h avec des aménagements parfois, aujourd'hui, il veut m'imposer 17h !
Sachant que rien n'est stipulé dans notre jugement, que faire ?
Peut-il avec un simple droit de visite de m'imposer 17h au lieu de 18h ?
Et si je ne suis pas d'accord, comment faire ? Puis-je lui demander de faire appel au Tribunal s'il veut changer l'heure ? Sachant que rien n'a jamais été stiupulé ?

Merci vraiment par avance de vos conseils.