Quitter le département avec mon enfant

Bonjour,
Je me permets de demander quelques petits renseignements.
Alors voilà étant maman d'un petit garçon qui a toujours été sous mon aile mais reconnu par son père (nous nous sommes arrangés pour qu'il voit son fils tout les weekend sans décision de justice).
Je souhaiterais quitter le département ( nous vivons a l'île de la réunion) avec mon fils et le père avais signer une autorisation que l'on a écrit nous même. Il nous reste 3 semaines avant le départ et maintenant il ne veux plus nous laisser partir, l'autorisation est elle quand même valable ?
Peut il nous empêcher de partir en sachant qu'il ne m'a jamais versé de pensions alimentaires et que lorsque mon fils va chez lui il n'est jamais là ( Mr travail la semaine et des le vendredi soir c'est un vrai fêtard) mon fils reste le plus souvent avec la mère de ce dernier.
Existe t'il un document officiel pour que je puisse partir ou pas ?
Je suis un peu perdue ne sachant pas vraiment quoi faire j'espère avoir vos conseils très bientôt.
Merci d'avance.