Retard père pour récupérer son enfant

Bonjour,
Le père de la fille de ma femme était censé venir récupérer celle ci le samedi à 15h mais ce dernier nous a prévenu au dernier moment qu'il ne pouvait pas et qu'il viendrait le lendemain.
Dimanche pareil, prévenu qu'il ne pouvais pas et qu'il viendrait le lundi.
Nous étions censé partir avec ma femme le dimanche matin mais obligé de changé nos plans par sa faute.
Suite à sa non présentation, sommes nous dans le droit de partir en vacance avec la petite et de ne pas lui présenter étant donner que nous avions un accord pour le samedi à 15h?
Il y a un jugement mais rien de stipulé au niveau des jours et des heures dessus.
Merci de votre aide