Faute éliminatoire ou pas?

Bonjour, je viens de passer mon permis et jusqu'à ce que je regarde sur internet les fautes éliminatoires, j'était en confiance.
Je vous explique la situation: j'arrive vers un passage piéton et près de lui se trouvait deux enfants qui pour moi, allaient traverser car ils étaient proche du passage et bougeaient. Je décide donc de freiner (un peu brusquement) mais ils continuent leur chemin en me regardant et ils ne traversent pas. Je ne me suis pas arrêter car je n'étais pas sur qu'il traverse (j'étais en 2ème) et l'inspecteur m'a dit que c'était une bonne initiative mais que j'aurais dû regarder dans mes rétros avant et que je n'étais pas obligé de freiner.
Voila, je suis assez perplexe et j'ai peur d'avoir raté mon permis, qu'en pensez vous?